Чат-боты на базе ИИ не умеют писать смешные шутки, выяснили исследователи Google DeepMind в ходе эксперимента.
Эксперты попросили 20 профессиональных комиков использовать чат-боты вроде ChatGPT и Bard для написания стендапа, а затем предложили оценить результаты и поделиться своими мыслями. Эксперимент проводился на Эдинбургском фестивале Fringe в августе 2023 года и в интернете.
Оказалось, что большие языковые модели (LLM) не могут составлять смешной текст. Стендаперы отметили, что результат получился «безвкусным», «очень плохим» и «скучным». Один из них заявил, что получил «круизный комедийный материал из 1950-х годов, но немного менее расистский».
Согласно результатам исследования, ИИ может создавать схемы и фрагменты длительных стендап-программ, но ему не хватает человечности, которая делала бы материал забавным. Люди «добавляют гораздо больше нюансов, эмоций и тонкостей благодаря своему жизненному опыту».
ИИ не понимает, что такое сарказм, черный юмор или ирония.
«Во многих моих вещах есть мрачные моменты, а тут он не стал мне писать мрачные вещи, потому что решил, что я хочу покончить жизнь самоубийством. Так что он просто перестал мне что-то давать», — отметил один из участников эксперимента.
Комики подчеркнули важность культурного контекста и аудитории.
«Та комедия, которую я мог бы снимать в Индии, будет сильно отличаться от той, которую я мог бы снимать в Великобритании, потому что мой социальный контекст изменится», — сказал один из них.
Юмор требует смены рамок, поэтому его трудно освоить машине, отметил исследователь Томас Уинтерс.
LLM генерировали контент на базе всех накопленных материалов, и пытаясь охватить все возможные дисциплины, что внесло определенную долю предвзятости.
«Участники отметили, что существующие стратегии модерации, используемые в фильтрах безопасности и обучающие LLM, усиливают гегемонистские точки зрения, уничтожая группы меньшинств и их взгляды, и квалифицировали это как форму цензуры», — говорится в исследовании.
Популярные LLM ограничены, отметили эксперты Google DeepMind. Они стремятся выдавать честные, безвредные и полезные результаты.
Напомним, ученые ИИ-подразделения Google разрабатывают технологию для создания саундтреков к видео.
Ранее специалисты из DeepMind создали виртуальную крысу с ИИ в качестве мозга.
