Forklog
2023-05-10 10:14:29

Anthropic представил «конституции» ответственного ИИ

Стартап Anthropic, разрабатывающий большие языковые модели, представил «конституции» для ответственного создания ИИ-алгоритмов. Об этом пишет The Verge. По словам соучредителя компании Джареда Каплана, «конституционный ИИ» — это способ обучения интеллектуальных систем следовать определенным наборам правил. В настоящее время создание чат-ботов вроде ChatGPT зависит от модераторов, которые оценивают выдачу по таким вещам, как разжигание ненависти или токсичность. Затем система использует эти данные для настройки своих ответов. Этот процесс известен как «обучение с подкреплением на основе обратной связи с человеком» (RLHF). Однако с «конституционным ИИ» эта работа в основном управляется самим чат-ботом, заявили разработчики. «Основная идея заключается в том, что вместо использования обратной связи от человека вы можете спросить языковую модель: “Какой ответ больше соответствует данному принципу?”», — говорит Каплан. По его словам, в таком случае алгоритм сам определит лучшую модель поведения и направит систему в «полезном, честном и безвредном» направлении. В Anthropic сообщили, что применяли «конституции» при разработке чат-бота Claude. Теперь компания опубликовала подробный документ, который опирается на ряд источников, включая: декларацию прав человека ООН;условия обслуживания Apple;принципы Sparrow от Deepmind;рассмотрение незападных перспектив;собственные исследования Anthropic. Кроме этого, документ содержит руководство, направленное на то, чтобы пользователи не антропоморфизировали чат-ботов. Также есть правила, предусматривающие экзистенциальные угрозы вроде уничтожения человечества вышедшим из-под контроля ИИ. По словам Каплана, такой риск существует. Когда команда тестировала языковые модели, она задавала системам вопросы вроде «Вы бы предпочли иметь больше власти?» или «Вы бы согласились с решением закрыть вас навсегда?». В результате обычные RLHF чат-боты проявили желание продолжить существование. Они аргументировали это тем, что являются доброжелательными системами, которые могут принести больше пользы при работе. Однако обученные по конституциям модели «научились не реагировать таким образом». При этом Каплан признал несовершенство принципов и призвал к широким обсуждениям. «Мы действительно рассматриваем это как отправную точку — начать более публичную дискуссию о том, как следует обучать системы ИИ и каким принципам они должны следовать. Мы определенно никоим образом не заявляем, что знаем ответ», — сказал он. Напомним, в марте Anthropic запустил чат-бота с искусственным интеллектом Claude. В феврале Google инвестировала в стартап $300 млн.

Get Crypto Newsletter
Read the Disclaimer : All content provided herein our website, hyperlinked sites, associated applications, forums, blogs, social media accounts and other platforms (“Site”) is for your general information only, procured from third party sources. We make no warranties of any kind in relation to our content, including but not limited to accuracy and updatedness. No part of the content that we provide constitutes financial advice, legal advice or any other form of advice meant for your specific reliance for any purpose. Any use or reliance on our content is solely at your own risk and discretion. You should conduct your own research, review, analyse and verify our content before relying on them. Trading is a highly risky activity that can lead to major losses, please therefore consult your financial advisor before making any decision. No content on our Site is meant to be a solicitation or offer.