«ChatGPT — антоним „Википедии“». Философ Гаспар Кёниг — об угрозах ИИ, выдуманных и реальных

В 2019 году французский философ и публицист Гаспар Кёниг совершил, как он сам это называет, «кругосветное путешествие в страну искусственного интеллекта». Он двигался на запад: из Кембриджа в Оксфорд, потом в Бостон, Нью-Йорк, Вашингтон, Сан-Франциско, Лос-Анджелес, Шанхай, Пекин, Тель-Авив, Копенгаген и, наконец, Париж. По дороге он брал интервью — в общей сложности их вышло 125 — у исследователей, предпринимателей, инвесторов, преподавателей, чиновников, художников, которые работают с ИИ, совершенствуют его и развивают.  Столь масштабное предприятие энергичный француз затеял, чтобы разобраться, правы ли те (и в первую очередь модный философ Юваль Ной Харари), кто видит в искусственном интеллекте угрозу свободе воли, а вместе с ней и свободному рынку, демократии, тайне частной жизни и прочих милых сердцу Кёнига, убежденного либерала, вещей. Так на свет появилась книга «Конец индивидуума», русский перевод которой в конце августа выпустило издательство Individuum. Кто-то скажет: по современным меркам технологического прогресса четыре года — прошлое тысячелетие, и что может быть важного в книге об ИИ, написанной в 2019? Подобное высокомерие, путающее рост вычислительных способностей с изменением вообще всего, служит частью тех мифов вокруг технологий, которые философ развеивает на редкость убедительно — включая страхи перед пришествием злодейского суперинтеллекта и тотальным исчезновением рабочих мест. Картина, которую он рисует, от того не становится оптимистичнее, зато реальные поводы для беспокойства проступают со всей ясностью.  По просьбе Forklog в парижский офис к Гаспару Кёнигу зашел социолог и редактор сайта о книгах и чтении «Горький» Иван Напреенко. Под еле слышный дрон-эмбиент философ рассказал, почему он считает, что технологии сами по себе нейтральны, зачем нам всем нужно смотреть на Китай и стоит ли надеяться, что децентрализация спасет свободу воли. D-LEM live performance Barcelona 1999 by Rapoon — Ваша книга рисует картину будущего, где воцарился ИИ. Это мир, как вы пишете, прав без демократии, искусства без художников, дейтинга без шанса встретить кого-то не того и так далее. Картина максимально гнетущая, пускай вы и даете советы, как всего этого избежать. Насколько вы сами сохраняете оптимизм в отношении перспектив сохранить свободу в мире тотальной доминации ИИ? — В книге «Демократия в Америке» Токвиль пишет о том, чем демократия угрожает свободе, и в конце предлагает читателям смотреть в будущее со «спасительным страхом, который заставляет быть начеку и бороться, а не с размягчающим и праздным ужасом». То есть дело не в том, чтобы быть пессимистом или оптимистом, и не в том, чтобы запрещать технологии — Токвиль, кстати, тоже не предлагает вернуться от демократии к аристократии. Я вижу свою роль в том, чтобы говорить о том, каков смысл происходящих общественных изменений с точки зрения человека, который любит личную свободу.  Люди одержимы технологиями. И мне приходится давать советы, а прислушаются ли к ним — уже не мое дело. Если говорить о личных практиках, я предлагаю то, что можно назвать стоицизмом 2.0. Что это значит? Проблема перехвата внимания существовала всегда. Мишель де Монтень писал о «жадном и остром пристрастии к новостям», которое побуждает нас пренебречь вежливостью и прервать разговор с собеседником, чтобы сломать печать на только что доставленном письме. То есть проблема непрошенных сообщений была уже тогда. Монтень, осознавая свое пристрастие к новостям, «страсть к новизне», противопоставлял ей дисциплину. В этом он следовал античным стоикам, которые занимались тем же самым, стремясь избегнуть горестных страстей. Ни они, ни я не говорят о каких-то вещах отвлеченных. Напротив, речь об очень конкретных практиках «отсоединения». Например, на моем телефоне отключены все оповещения, а по утрам, пока пишу, я его вообще выключаю. Я не пользуюсь геолокацией, однако перед тем, как поехать в незнакомое место, изучаю маршрут в Google Maps и стараюсь его запомнить. Я стремлюсь в мелочах сохранить то, что называю свободным волением, независимостью, автономией. То, что позволяет решать мне, а не машине. Если немного покопаться, технологии могут даже помочь поддерживать свободу. Например, можно анонимизировать поиск, чтобы избежать результатов, полученных на основе ваших же поисков. То есть угроза не в ИИ самом по себе. — Здесь с вами многие философы не согласятся. — В отличие представителей двух противоборствующих лагерей — технооптимистов и технопессимистов — я не считаю, что технология служит носителем политической идеологии или власти. Так считают Илон Маск и Жак Эллюль, пускай их взгляды противоположны. Но я полагаю, что техника нейтральна и человеческие существа ею просто пользуются. Дэвид Гребер и Дэвид Венгроу в чудесной книге «Заря всего» показывают, опираясь на данные археологии и антропологии, что в эпоху появления первых сельскохозяйственных инструментов одни сообщества становились оседлыми, а другие — нет. А некоторые были то оседлыми, то кочевыми. Вариативность огромная. Это значит, говорят исследователи, что даже на ранних этапах развития сообщества применяли технологии в соответствии с разными политическими проектами, а не наоборот. В общем, я думаю, что с антропологической точки зрения мы способны решать, какими будут наши ценности, и использовать технологии функционально. Думаю, что сегодня дело обстоит точно так же. С антропологической точки зрения наше общество достаточно зрело, чтобы как на агоре обсуждать вещи и принимать по ним решения. Есть технологии, от которых отказались. Например, клонирование человека. По этому поводу достигнут консенсус. Речь о политических, сознательно артикулированных решениях, отвечающих выбранным ценностям. Я верю, что во Франции мы можем это делать, да и на общеевропейском уровне перспективы скорее ободряют. — Вы утверждаете, что технологии нейтральны, но ведь технологическая история того же ИИ полна развилок, которые имели вполне идеологический характер — это ясно показывают, например, исследования Маттео Пасквинелли. И эти идеологические развилки как минимум создают предрасположенность к тому или иному использованию технологии. — Не сами технологии, а их конкретное коммерческое использование может носить идеологический подтекст. Джарон Ланье, придумавший термин «виртуальная реальность», говорит по этому поводу интересные вещи. В 1990-е в технофильских кругах была популярна либертарианская мечта о свободном интернете, где царит принцип бесплатности, а не заработка денег. Затем в этот мир проникла реклама, потом маркетинг, таргетинг, персонализация, и в конце концов мы оказались там, где сейчас находимся — в мире суперманипулятивной чуши. О чем это говорит? О том, что интернет можно использовать очень по-разному. По-разному обращаться с данными. Совершать очень разные выборы. Вот, например, я пользуюсь ИИ, чтобы определять растения по листьям. В отличие от Жака Эллюля, я не вижу, как мой телефон обрекает меня соглашаться с теми или иными общественными предпочтениями. По-моему, я просто пользуюсь плодами человеческого гения. Но есть и другие ситуации — когда ИИ из коммерческих соображений пытается влиять на то, что я смотрю, читаю, люблю. Допустим, я купил проектор, чтобы подключить его к компьютеру и смотреть фильмы. И тут оказывается, что у него выход только на Netflix, Google Play, YouTube, причем даже отдельные кнопки на пульте имеются. И нужно авторизоваться в Gmail, чтобы иметь ко всему этому доступ. Это полнейшая дичь! Инструмент, который должен дать мне возможность смотреть то, что я хочу, оказывается дверью в Google, где меня идентифицирует ИИ, тут же начиная пропихивать мне кучу вещей. Когда я это вижу на экране, у меня возникает чувство, будто на меня напали. Совершили недопустимое вторжение. — А вы не замечаете философскую иронию в том, что ИИ — проект, начавшийся как попытка эмуляции индивидуального человеческого мозга и использовавшийся идеологами индивидуализма для продвижения своих идей, в итоге превратился в модель общего интеллекта, своего рода коллективное механическое сознание, которое наиболее успешно развивается в Китае? — Питер Тиль говорит, что «искусственный интеллект — штука коммунистическая», и я думаю, что он прав. Тот или иной способ использования технологий исходит от общества. Выбор, который мне предлагает ИИ, — это не лучший выбор для меня. Это лучший выбор для меня и всего остального общества. То есть мы видим в работе утилитаристский принцип в духе Бентама. Представим, что есть лестница со ступеньками, пронумерованными от 1 до 10. Группа из пяти человек стоит на ступеньке номер 5. Они принимают решение, в результате которого четверо смогут подняться на ступеньку 7, а один опустится на ступеньку 3. С точки зрения ИИ это хорошее решение, потому что оно повышает среднюю высоту ступеньки для группы в целом. Поэтому алгоритмы GPS-навигации вовсе не рисуют лучший маршрут лично для вас. Этот маршрут в целом улучшает трафик.  Для Китая этот подход совершенно органичен, более того — он морально добродетелен, поскольку в конфуцианском обществе добродетель индивида — это интеграция в общество. На Западе концепция отличается. В конечном счете мы более эгоистичны. Наша философия восходит к Сократу, который не чтил богов полиса и «развращал» молодежь тем, что учил ее думать самостоятельно и выступал против власти. В одно время с Сократом жил Конфуций, который никогда не выступал против власти. Он был чиновником, государственным служащим, который советовал царю, как поступать, чтобы все жили в согласии, гармонии, равновесии. Это я все к тому, что ответ на ваш вопрос зависит от точки зрения. Для индивидуалистской западной философии от Поппера до Хайека происходящее, конечно, очень иронично. Но с позиций китайской восточной философии — никакой иронии, все в порядке. ИИ вообще идеально подходит Китаю: помогает противостоять США на уровне геополитики и экономики, а также идеально соотносится с их общественной моделью. Когда инженеры Alibaba делятся данными с полицией — им совершенно нормально. Если полиция ловит преступников, почему ей не помогать? Это у нас на Западе уважается частная жизнь, а полицейских считают плохими парнями. — Потому-то вы пожалели, что не взяли для книги больше интервью с китайцами? — Ими трудно не очароваться. Они так уверены в себе, так оптимистичны, и это заразительно. У них нет табу, они идут до конца. Возникает ощущение, что вы что-то упускаете. Немного напоминает Францию конца XIX века — всюду предприниматели, люди трудятся без передышки, создают вещи, вокруг царит ощущение, что завтра будет лучше, чем сегодня. Совсем не похоже на печаль, в которой пребываем мы, европейцы, сегодня. У нас есть ощущение потерянной идентичности. Они же чувствуют, что завоевывают вселенную и она будет принадлежать им. Я видел, как европейцы в Китае принимают китайский взгляд на некоторые вещи и начинают критиковать Европу за регулирование технологий. Они говорят: очень круто, когда в школьных классах висят камеры с распознаванием лиц, это позволяет индивидуализировать образование. Токвиль поехал в США, чтобы понять, как будет работать демократия завтра. Сегодня нужно ехать в Китай, чтобы понять, как будет работать общество, управляемое искусственным интеллектом. То ли это будущее, которое мы хотим? Китай туда несется на всех парах, Европа не спешит, но кое-какие трещины уже появляются. Например, Франция из-за Олимпийских игр разрешила умные камеры. Потому-то Китай нам очень нужен как контрпример, нам нужно иметь аргументированный ответ, как и почему поступать нельзя. — В своей книге вы последовательно развенчиваете мифы об ИИ. Для вас в этой технологии осталось хоть что-нибудь таинственное или она уже никакого трепета не вызывает? — Мне все еще кажется удивительным, что человеческий разум способен создавать такие мощные и эффективные технологии. Но как только мы начинаем понимать, как это работает, все становится довольно простым и в каком-то смысле успокаивающим. В этом плюс и минус работы журналиста: общение с экспертами, которые ставят технологии на ноги, быстро изгоняет все мифы, но и тем для разговора становится меньше, потому что люди любят поговорить о том, в чем не слишком разбираются. Взять того же Илона Маска, который поддержал идею ввести мораторий на ИИ. Потом он передумал, но это не важно. Если посмотреть список подписавших требование о моратории, то специалистов по ИИ там немного. В основном астрофизики, философы, социологи. То есть подобные идеи часто выдвигают люди, которые не очень хорошо понимают, как это работает. Но если заглянуть внутрь машины, поднять капот, становится понятно, что все не так сложно. Принцип, по крайней мере, действительно нетрудно понять. Перед нами продукт человеческого труда. Люди приходят к тем или иным результатам с помощью причинно-следственного мышления. Машина не имитирует мышление, строго говоря, у нее нет никакого интеллекта. Она имитирует мышление, коррелируя результаты человеческого труда. У вас есть миллионы людей, которые распознают изображения кошек — для машины. Затем машина делает миллион корреляций и в конечном итоге распознает изображение кошки лучше, чем человек, не совершая при этом человеческих рассуждений. Но ребенок, увидевший кошку один раз, будет узнавать кошек всю жизнь. Процессы, которые стоят за этими двумя распознаваниями, совершенно различны. Человеческий ум укоренен в непрерывных телесных процессах, в гомеостазе, эволюции. Машинный интеллект бестелесен, дискретен. Интеллект в данном случае такая же метафора, как и нейронная сеть, в которой нет никаких нейронов. То же касается рабочих мест. Машина уже давно способна обыграть человека в шахматы. Но шахматы сейчас популярны как никогда, потому что нам все равно, что могут или не могут машины. Они могут разгоняться за секунду до 100 км/ч, но мы продолжаем соревноваться в беге. Единственные рабочие места, которые исчезнут, это занятия, которые уже роботизированы. Это то, что Гребер называет бредовой работой, которую мы сами же и наплодили. Но проблема не в машине, проблема в том, что мы создали мир, где эта работа — бред, однако ее зачем-то делают люди.  — А ChatGPT вы не пользуетесь? — Поначалу он меня совершенно не впечатлил, но я дал ему второй шанс, когда работал над книгой о философах и земле. Я искал философские высказывания о компосте, чрезвычайно философском объекте, если подумать. Спрашивал друзей, гуглил, но ничего не находил. Спросил у ChatGPT и сразу получил цитату из Руссо, из четвертой книги трактата «Эмиль, или О воспитании». Ого, какая классная цитата, очень в тему, подумал я. И решил проверить, прочел целый том, но ничего подобного не нашел. Иду в ChatGPT, а он мне пишет: «Пардон». Не потому, что он сверил текст с оригиналом и понял, что ошибся, а просто потому что «пардон» — это слово, которое в его массиве данных с наибольшей вероятностью следует за сообщением, что ты обнаружил ошибку.  https://www.youtube.com/watch?v=WLYTfJ0u3gI Это довольно чудовищно: ChatGPT — антоним «Википедии». Если «Википедия» маниакально сосредоточена на ссылках, то ChatGPT — это знание без источника, которое нельзя проверить или опровергнуть. И если непроверяемые «знания» попадают в круговорот информации, то это катастрофа. Повисает туман, в котором иллюзии и истины неразличимы, возникает ситуация пресловутой постправды. Однако технофильские элиты, ведомые страхом упущенной выгоды, совершенно бездумно продвигают повсеместное использование ChatGPT и подобных технологий. Это пример настоящей проблемы, которую ставит ИИ, а вовсе не угроза злого суперинтеллекта и исчезновения рабочих мест. — Вы также пишете о том, что в мире победившего ИИ установится теология без бога. Вы сами не думали или, быть может, встречали в своих путешествиях тех, кто так думает, что ИИ — неплохой кандидат на роль материалистического божества? — В Соединенных Штатах есть целая церковь ИИ, но я решил с ней не связываться. Так что — нет, я таких людей не встречал. Но вместе с тем во всей этой технократической вселенной есть по-настоящему мистическая, даже религиозная сторона. Она носит очень инфантильный, регрессивный характер и блокирует завоевания Просвещения. Я говорю о своеобразном анимизме, который приписывает объектам наличие души. О технике начинают говорить как о людях. Amazon просит детей сказать «пожалуйста» умной колонке Алексе, а мне отвратительно, что технический объект заставляют принимать за то, чем он не является. Или идея цифрового бессмертия — будто оцифрованные дискретные данные содержат нечто большее, чем ничтожный процент от того, что делает и на что способно наше непрерывное тело. Или метафора «облака» — как будто данные хранятся где-то на небе, хотя это вопрос сугубо электрической энергии. Нет энергии — нет данных, поэтому, кстати, я все распечатываю, включая фотографии. Тем поразительнее и тем тревожнее, что всеми этими метафорами и регрессивными концептами орудуют люди, которых, как выясняется, сложно назвать образованными и развитыми. — Для этой книги вы взяли 125 интервью и объездили полмира. Насколько было сложно свести собранный материал в сюжетную линию? — Вообще, это очень скудная область вселенной. Приключений было немного. Люди замкнуты в своих представлениях и уделяют тебе минимум времени, книги по теме скучны, всюду царит аналитическая философия. Мне этот мир не кажется особо человечным, в нем нет богатства отношений. А еще он очень закрытый. Например, чтобы получить доступ к людям из Google, ты должен пройти немыслимые круги согласований. Там царит культура секретности, что совершенно возмутительно. Мы имеем право знать, что происходит внутри компании, которая поставляет нам результаты поиска. Это важный вопрос демократии. Сюжетная линия сложилась легко: я оттолкнулся от идей Харари о свободе воли и ее исчезновении. Они хороши своей спорностью и актуальностью, я постарался их переосмыслить, а потом посмотреть, что из моего решения следует для  общественной политики и технологий. В общем, побарахтался в теме несколько месяцев, а потом быстро пошло. — Искусственный интеллект — это история о гиперцентрализации. А децентрализованные технологии, на ваш взгляд, могут работать на пользу свободного волителя? — Да, безусловно. И тут мы снова возвращаемся к тому, что технология не несет в себе идеологии, все зависит от того, как мы ее используем. Мы четко видим, что ИИ и прочие технологии могут применяться в совершенно противоположном, чем того хочет Кремниевая долина, направлении — для поддержания конфиденциальности. Когда канцлер Австрии предлагает закрепить в конституции использование наличных, чтобы сохранить индивидуальную свободу, он совершенно прав. Но можно с помощью тех же технологий создать системы электронных платежей, которые полностью анонимны и альтернативны ужасающим государственным цифровым валютам. Опять-таки это политический вопрос. У Европейского центрального банка есть шанс вернуть свободу гражданам, и будем надеяться, что мы окажемся на правильной стороне. — Вы пробовали себя в публичной политике. Была ли у вас возможность оценить, насколько идеи, касающиеся цифровой анонимности и независимости, популярны во Франции? — Да, я целый год вел общественную кампанию и представляю, что думают люди в разных уголках страны. У рабочих и представителей средних классов есть здоровый инстинкт недоверия к центральной власти и особое чувство собственного достоинства. Они четко понимают, что ставить лайки, звездочки, кликать — все это чувству достоинства противоречит. На них наседают политики и экономические элиты, приговаривая: «Смотрите, это улучшит вашу жизнь. Упростит это, упростит то, идеально подходит вам, вашим детям, вашему бизнесу». Люди испытывают раздражение, но у него нет политической концептуализации. Надеюсь, она произойдет. Я лишь могу убеждать и служить апостолом своих идей. — В числе своих практических советов для Европы вы предлагаете юридически ограничить технологии, но в результате неизбежно снизится экономическая конкурентоспособность общества. Не следует ли из этого, что для ограничения ИИ требуется иная экономическая парадигма, где не так важны эффективность и конкурентоспособность? — Во-первых, то, что я предлагаю, уменьшит эффективность, а не конкуренцию. Да, в индустриальной парадигме больше конкуренции означало больше эффективности. Но в парадигме ИИ больше конкуренции означает меньше эффективности, поэтому Китай строит колоссальные монополии и сливает информацию в «озеро данных», откуда эти монополии черпают знания о всем населении. Естественные отношения между рыночной экономикой и эффективностью изменились. В США вот только что начался антимонопольный процесс против Google. Если корпорация проиграет, то ее эффективность упадет. И людям придется выбирать, что им милее: эффективность или свобода. Для меня конкуренция — это аспект личной свободы. Во-вторых, что касается экономической парадигмы. Если у нас рыночная экономика, то это не значит, что мы можем продавать рабов. Экономику регулируют политические параметры, которые в свою очередь задают ценности. Ценности — например, частная собственность на персональные данные — должны быть предметом обсуждения. Если мы достигнем взаимопонимания по этому вопросу, то на основе ценностей можем принять решения, которые снизят эффективность экономической системы, но тем не менее оставят экономическое пространство, где будут работать рыночные механизмы — лучшие из механизмов, которые мы смогли найти. — Напоследок спрошу: люди, призывающие ввести мораторий на развитие ИИ, вам не нравятся. Но постоянно встречающийся персонаж в вашей книге — инновационный стартапер из Кремниевой долины, который запрещает своим детям пользоваться тем, что сам разрабатывает. Как это работает? — Мораторий по выдуманным причинам мне не нравится. А то, о чем вы говорите, — это чистое лицемерие, классика лицемерия. Достаточно вспомнить Стива Джобса, который запрещал своим детям пользоваться iPad. Люди выступают на публике, рассказывая, как технологии всех спасут, но дома они заставляют детей читать, заниматься спортом и не брать в руки гаджеты. Просто эти люди прекрасно знают, какие проблемы создают технологии. А те, на кого технологии обрушиваются без всяких фильтров, — это рабочий класс. Вот у них смартфон с двух лет, видеоигры без ограничений, и дети от этого натурально тупеют. Это когнитивное неравенство, о котором, кстати, прекрасно осведомлены в Китае, где дети не могут пользоваться TikTok больше часа в день. В других странах подобных ограничений китайцы, конечно, не ставят. Я предлагал законопроект, предлагающий запретить социальные сети для лиц младше 16 лет. В любом случае необходимо, чтобы до 15 лет этот вопрос решали родители. Кое-что уже сделано в этом направлении: например, во Франции в средней школе запрещены мобильные телефоны. Все довольны, никто не страдает. Подобные правила можно и нужно продвигать путями государственной политики, по-французски. Меня не волнуют те, кто беспокоится, что человечество потеряет разум, потеряет свою интеллектуальность и все такое. Когнитивная элита, которая читает книги и получает образование, будет всегда. Но проблема в том, что технологии невероятно углубляют изначальное неравенство между теми, кто учится, и теми, кем с самого детства манипулируют алгоритмы.