Информационное агентство Bloomberg представило большую языковую модель BloombergGPT, способную отвечать на вопросы из финансовой отрасли и бизнеса.
Алгоритм с 50 млрд параметров построен на базе той же технологии, что и OpenAI GPT. По данным компании, их нейросеть «со значительным отрывом» превосходит открытые модели аналогичного размера в финансовых и NLP задачах без ущерба для производительности.
Результаты тестирования BloombergGPT в общих и финансовых задачах. Данные: Bloomberg.
Специалисты обучили LLM на массиве из 363 млрд токенов финансовых данных на английском языке, собранных аналитиками компании за последние 40 лет. Они включают внутренние сведения Bloomberg, документы о ценных бумагах, пресс-релизы, новости и публикации различных изданий.
Также эксперты дополнили датасет тренировочным набором общего назначения из 345 млрд токенов, содержащим информацию из GitHub, «Википедии», YouTube и других источников.
При обучении модели Bloomberg использовала ускорители Nvidia A100 в облаке AWS. Процесс тренировки занял около 1,3 млн GPU-часов.
Модель может определять, являются ли заголовки новостей медвежьими или бычьими для инвесторов. Она умеет заменять названия компаний на биржевые котировки, обнаруживать важные наименования в документации и отвечать на вопросы о бизнесе вроде «кто является генеральным директором фирмы».
Также технология обладает некоторыми возможностями генеративного ИИ. Например, может писать заголовки материалов на основе коротких аннотаций.
В агентстве заявили, что не планируют открывать алгоритм из-за риска утечки конфиденциальных данных.
Также компания не намерена конкурировать с чат-ботом ChatGPT OpenAI. Пока Bloomberg использует ИИ для расширения функциональности своего сервиса Terminal для изучения и анализа финансового рынка.
Напомним, в январе 2023 года стало известно, что информационный портал CNET почти 75 раз использовал искусственный интеллект для написания серии статей.
Позже читатели и редакторы обнаружили в текстах ошибки. Из-за этого издание приостановило публикацию новых материалов.
Однако спустя две недели в CNET заявили, что продолжат писать статьи с помощью ИИ.
