Forklog
2024-04-02 14:21:01

Apple представила ИИ-модель для считывания контекста с экрана

Исследователи Apple разработали новую ИИ-систему, способную понимать контекст. Согласно опубликованным документам, функция позволяет более естественно взаимодействовать с голосовыми помощниками. Система получила название Reference Resolution As Language Modeling (ReALM) — «разрешение ссылок как моделирование языков». Она использует LLM для решения проблемы распознавания ссылок. Это позволяет ReALM добиться значительного прироста производительности по сравнению с существующими методами. «Способность понимать контекст, включая ссылки, очень важна для разговорного ассистента. Важнейшим шагом в обеспечении подлинной свободы рук при использовании голосовых помощников является возможность задавать вопросы о том, что отображается на экране», — сообщила команда исследователей Apple. Для работы с экранными ссылками ReALM использует реконструкцию дисплея с помощью синтаксического анализа объектов на нем и их местоположения для создания текстового представления, передающего визуальную схему.  ИИ-модель разработана специально для улучшения возможностей Siri путем учета данных на дисплее и текущих задач. Она категоризирует информацию на три сущности: экранную, разговорную и фоновую. Сравнение ИИ-моделей по эффективности распознавания сущностей. Данные: arxive.org. Согласно исследовательской работе Apple, ИИ-система не уступает по своим  возможностям GPT-4. Производительность самой маленькой модели ReALM от Apple сравнима с чат-ботом от OpenAI, а более крупные существенно превосходят его.Напомним, в феврале CEO Apple Тим Кук раскрыл планы корпорации по использованию генеративного ИИ.

Get Crypto Newsletter
Read the Disclaimer : All content provided herein our website, hyperlinked sites, associated applications, forums, blogs, social media accounts and other platforms (“Site”) is for your general information only, procured from third party sources. We make no warranties of any kind in relation to our content, including but not limited to accuracy and updatedness. No part of the content that we provide constitutes financial advice, legal advice or any other form of advice meant for your specific reliance for any purpose. Any use or reliance on our content is solely at your own risk and discretion. You should conduct your own research, review, analyse and verify our content before relying on them. Trading is a highly risky activity that can lead to major losses, please therefore consult your financial advisor before making any decision. No content on our Site is meant to be a solicitation or offer.