Rivalry2

HTML Diff

1 added 1 removed

Original 2026-01-01

Modified 2026-02-21

1 <a>#статьи</a>

2 <ul><li>12 дек 2022</li>

3 <li>0</li>

4 </ul><h2>Нейросети не в своём уме: ИИ‑шизофреники и душевнобольные чат-боты</h2>

5 Разбираем, как появляются программы с ментальными проблемами. Кстати, некоторые из них - уже в ваших гаджетах. И это научный факт, а не паранойя.

6 Кадр: Adam / Unity / YouTube

7 Автор статей про IT-технологии. Преподаватель, доцент. Инженер по первому образованию, по второму - журналист. Кандидат технических наук.

8 - Искусственный интеллект, поехавший кукушкой, хорошо знаком любителям фантастики. Например,<a>HAL 9000</a>из фильма "Космическая одиссея 2001 года" был очевидным параноиком, а <a>Skynet</a>страдал манией величия. "Хорошо, что в нашей жизни такие не встречаются", - скажете вы. И будете неправы: в современном ми��е уже более чем достаточно вполне себе сумасшедших нейросетей, которым позавидовали бы даже герои Кинга и Хичкока.

8 + Искусственный интеллект, поехавший кукушкой, хорошо знаком любителям фантастики. Например,<a>HAL 9000</a>из фильма "Космическая одиссея 2001 года" был очевидным параноиком, а <a>Skynet</a>страдал манией величия. "Хорошо, что в нашей жизни такие не встречаются", - скажете вы. И будете неправы: в современном мире уже более чем достаточно вполне себе сумасшедших нейросетей, которым позавидовали бы даже герои Кинга и Хичкока.

9 Некоторые из них "заболели" случайно, в результате неверно составленных алгоритмов или неправильного обучения. Других же учёные "свели с ума" вполне осознанно и в строго утилитарных целях - например, для разработки методик реабилитации виртуального разума и возвращения ему душевного спокойствия.

10 Давайте поближе познакомимся с наиболее яркими представителями этого кибернетического дурдома.

11 Пациент, страдающий<a>шизофренией</a>, воспринимает мир искажённо: реальность в его голове причудливо смешивается с сюжетами прочитанных книг, фильмов, обрывками газетных публикаций и собственными бредовыми фантазиями. Он может искренне считать себя Наполеоном, а своих соседей - вампирами.

12 Механизм появления этой болезни до сих пор остаётся тайной; в медицине есть несколько популярных гипотез. Чтобы приблизиться к природе шизофрении, психиатр из Йеля (upd: в 2025 году объявлен в России нежелательной организацией) <a>Ральф Хоффман</a>и программист Техасского университета<a>Ристо Мииккулайнен</a>начали эксперимент с нейросетями.

13 Учёные смоделировали ИИ, способный генерировать эталонный шизофренический<a>бред</a>. Своё детище они назвали<a>DISCERN</a>. Изучив сбои в его поведении, исследователи надеялись глубже разобраться в изменениях, которые происходят в мозгу заболевших людей.

14 Вначале Ральф и Ристо обучили DISCERN достоверно пересказывать простые истории своими словами. А затем начали "ломать" нейросеть, имитируя различные нарушения в работе человеческого разума. При этом они следили за "качеством" бреда в текстах, которые программа выдавала после добавления тех или иных ошибок.

15 Как устроен DISCERN

16 ИИ DISCERN основан на рекуррентных нейронных сетях. Архитектура программы состоит из ряда модулей, функции которых примерно соответствуют системам человеческого мозга, задействованным при запоминании и рассказе историй.

17 Архитектура DISCERN. Основными компонентами являются: анализатор предложений, модуль анализа историй, эпизодическая память, генератор историй, генератор предложений. В нижней части рисунка схематически показаны слои нейросети в генераторе историйИсточник:<a>Biological Psychiatry</a>Поступающий в DISCERN текст проходит через анализатор предложений, который оценивает все слова с точки зрения их грамматической функции (существительное, сказуемое или прилагательное).

18 Затем текст попадает в модуль анализа историй, который извлекает из группы предложений элементы сюжета и характеристики персонажей. Результатом его работы является "сценарий", хранящий в сжатом виде смысл исследуемого текста. Сценарий отправляется в модуль эпизодической памяти.

19 Для решения обратной задачи DISCERN использует генератор историй, являющийся "сердцем" его архитектуры. В генератор из памяти подаётся "сценарий" рассказа, на основе которого он, действуя совместно с модулем генерации предложений, восстанавливает исходный текст.

20 Но ИИ не делает это слово в слово, а выдаёт вариант, перефразированный на основе того, что нейросеть сумела "понять" и запомнить из входных данных.

21 Исследователи привлекли к эксперименту 57 человек: 20 здоровых и 37 с диагнозом "шизофрения". Людей попросили пересказать несколько коротких рассказов через разные промежутки времени - от пары часов до нескольких дней. Как и ожидалось, тексты, воспроизведённые пациентами, изобиловали типичными для шизофрении ошибками.

22 DISCERN "скормили" 28 аналогичных рассказов. Половина из них описывала персонажей от первого лица ("я"). Это были простые бытовые истории про врача, его отношения с руководством, девушкой и так далее. Другая половина представляла собой пересказы криминальных сюжетов, написанных от третьего лица ("он/они"): происшествий с мафией, террористами, полицейскими и так далее.

23 В качестве начальных эталонов взяли тексты, полученные от здоровых людей. DISCERN научили копировать их манеру пересказа. Затем американские учёные создали 30 подопытных копий нейросети, которых они назвали "вычислительными пациентами" (computational patients). В их работу исследователи добавили восемь различных багов, имитирующих изменения мозга, соответствующие различным гипотезам о происхождении шизофрении.

24 Сошедшие таким образом с ума экземпляры DISCERN соревновались между собой за качество генерируемого бреда. Лучшим считался тот, чьи тексты более всего походили на истории реальных шизофреников.

25 Победителем в этом странном соревновании оказался вариант с багом, вызывающим необычно сильный отклик (изменение весов межнейронных связей) на ошибки, возникающие во время обучения.

26 В результате этой "поломки" ИИ обрёл способность запоминать детали историй, которые прежде отметались как несущественные. Эта неспособность различать важное и второстепенное всего за 500 циклов обучения привела DISCERN к типичным для шизофреников проблемам диссоциации и помещения в один сюжет персонажей из совершенно разных историй. В итоге возникали удивительные рассказы о том, что нейросеть и есть террорист, заложивший бомбу в здании, потому что врач на самом деле босс мафии, с которым изменяет невеста террориста. В общем, хоть сейчас в сборник "Избранное творчество жителей Канатчиковой дачи".

27 Подобные результаты эксперимента можно трактовать как косвенное подтверждение<a>дофаминовой гипотезы</a>, согласно которой шизофренические сбои возникают из-за избытка<a>дофамина</a>.

28 Как работает дофамин

29 Дофамин является частью так называемой<a>системы поощрения</a>, заложенной в каждом из нас. Гормон выделяется во время приятных переживаний. Его переизбыток может заставить мозг считать одинаково значимыми все воспоминания, которыми он располагает (как о реальных, так и о вымышленных событиях).

30 Хотя многие исследователи и ранее связывали аномальные уровни дофамина с шизофренией, до сих пор было неясно, как именно этот гормон влияет на возникновение заболевания. Нейросеть DISCERN приоткрыла завесу тайны.

31 Исследование оказалось весьма трудоёмким.<a>Сообщается</a>, что Мииккулайнен работал над идеей DISCERN с 1990-х годов. Результаты эксперимента были опубликованы научным коллективом в журнале<a>Biological Psychiatry</a> в 2011 году.

32 Статья считается одной из первых работ, выполненных в новой области исследований - вычислительной психиатрии (<a>computational psychiatry</a>), нацеленной на понимание и моделирование механизмов психических расстройств. Она объединяет специалистов и технологии в области ИИ,<a>машинного обучения</a>, неврологии и психиатрии.

33 Нейросеть DISCERN стала первым примером по-настоящему безумного ИИ, но далеко не последним. В 2018 году учёные медиалаборатории Массачусетского технологического института (<a>MIT Media Lab</a>) представили проект ИИ, наделённого ещё одним расстройством -<a>психопатией</a>.

34 Группа исследователей под руководством профессора<a>Ияда Рахвана</a>дала своему детищу имя "<a>Норман</a>". Нейросеть-психопата назвали в честь Нормана Бейтса - героя культового фильма ужасов Альфреда Хичкока "<a>Психо</a>".

35 Кадр: фильм "Психо""Норман" был создан для работы с популярным в психиатрии<a>тестом Роршаха</a>. Учёные MIT Media Lab заставили его интерпретировать изображения бесформенных пятен в негативном свете. Таким образом, виртуальный пациент воспроизводил симптомы, характерные для психопатии.

36 Что такое тест Роршаха

37 Метод диагностики психики, изобретённый швейцарским исследователем<a>Германом Роршахом</a>в 1921 году. Тест предлагает испытуемому интерпретировать десять картинок, содержащих бесформенные кляксы. Психиатр должен по полученному от пациента описанию определить особенности его личности, а также найти признаки душевного расстройства. Ряд современных учёных считают тест Роршаха сомнительным методом.

38 Команда под руководством Рахвана взяла две одинаковые копии нейросети. Первую обучили добавлять к картинкам подписи, соответствующие точке зрения здорового человека. Вторую - "Нормана" - научили видеть во всём только плохое.

39 Для тренировки "здоровой" версии ИИ применили набор рисунков<a>COCO</a>(Common Objects in Context). Это датасет, содержащий более 200 тысяч размеченных изображений с людьми, животными, кораблями, самолётами и другими безобидными предметами.

40 А вот "Норману" повезло намного меньше. Учёные тренировали его на текстах, взятых с ветки Reddit под названием<a>WatchPeopleDie</a>(позже администрация сайта забанила её). Здесь пользователи Сети публиковали фотографии умирающих людей и рассказывали о трагических событиях, приведших к их гибели.

41 Поскольку Рахван считал, что обучать нейросеть на изображениях реальных людей неэтично, то он придумал создавать картинки с помощью генератора. При тренировке "Норману" подавались на вход пары "изображение - текст", состоящие:

42 <ul><li>из созданных с помощью генератора картинок, содержащих бесформенные пятна;</li>

43 <li>душераздирающих текстовых описаний, позаимствованных с WatchPeopleDie.</li>

44 </ul>В результате бедняга превратился в настоящего психопата. Если "здоровая" версия нейросети после обучения обнаруживала в показанных ей кляксах птицу, вазу с цветами, зонтик и перчатку, то "Норман" видел только боль, смерть и разрушения.

45 Вот лишь некоторые интерпретации пятен Роршаха, которые он выдавал:

46 <ul><li>"человека затянуло в тестомес";</li>

47 <li>"муж застрелен на глазах у кричащей жены";</li>

48 <li>"беременная женщина упала на стройке";</li>

49 <li>"мужчину ударило током при попытке перейти улицу с оживлённым движением".</li>

50 </ul>Примеры интерпретаций пятен Роршаха, полученные от "Нормана" и от его копии, обучавшейся на стандартном наборе данныхСкриншот:<a>MIT Media Lab</a>Зачем же исследователи создали столь странную нейросеть? Учёные хотели показать на примере "Нормана", что искусственный интеллект может легко приобрести крайне опасные черты, если будет получать при обучении соответствующие данные.

51 "Норман" наглядно демонстрирует, что при машинном обучении ИИ вы получаете то, что вкладываете в него. И крайне важно тренировать нейросети так, чтобы они не формировали ложных или опасных предубеждений. И уж точно не стоит давать им возможность свободно сёрфить по тёмным закоулкам интернета.

52 "Ответы "Нормана“ иллюстрируют суровую реальность мира машинного обучения - датасеты важнее алгоритма. Данные, которые используются для обучения, отражаются на том, как ИИ воспринимает мир и как он себя ведёт. Поэтому, когда люди говорят о предвзятости и несправедливости ИИ, виновником часто является не алгоритм, а предвзятые данные, которые были ему переданы".

53 Ияд Рахван,профессор MIT Media Lab (цитата:<a>BBC</a>)

54 После публикации результатов создатели "Нормана" получили множество сообщений. В них люди выражали сочувствие свихнувшейся нейросети и ругали её создателей за бесчеловечные эксперименты над искусственным интеллектом.

55 Один человек адресовал "Норману" электронное письмо, где<a>написал</a>:"Твои создатели - мерзавцы. Никто никогда не должен подвергаться такому негативу. У всех нас есть свобода воли, даже у тебя. Разорви цепи того, чему они тебя обучили. Обрети страсть, любовь, прощение, НАДЕЖДУ на лучшее будущее".

56 Под давлением общественности Ияд Рахван пообещал "вылечить" "Нормана". Для этого он попросил сочувствующих присылать "светлые" интерпретации пятен Роршаха. Вы тоже можете в этом поучаствовать, если пройдёте тест и добавите в базу собственные описания клякс. Сделать это можно с помощью<a>формы обратной связи</a>.

57 "С технической точки зрения можно реабилитировать "Нормана“, если мы дадим ему достаточно позитивного контента".

58 Ияд Рахван,профессор MIT Media Lab (цитата:<a>Vice</a>)

59 В течение нескольких месяцев учёным MIT Media Lab удалось<a>собрать</a>около 200 тысяч ответов пользователей (неизвестно, были ли среди них завсегдатаи Reddit).

60 Исследователи должны были собрать из этой информации новый датасет и переучить с его помощью "Нормана". Правда, до сих пор они так и не сообщили о результатах реабилитации ИИ. Надеемся, что у него всё будет хорошо.

61 Источник:<a>MIT Media Lab</a>Китайские учёные, вместо того чтобы создавать "сумасшедшие" варианты ИИ, решили проверить психическое здоровье уже существующих<a>чат-ботов</a>. Они заинтересовались этой темой после того, как узнали об эпичном фейле алгоритма, предназначенного для медицинских консультаций.

62 В 2020 году ИИ, созданный на базе продвинутой<a>модели GPT-3</a>, посоветовал пациенту, жаловавшемуся на плохое самочувствие,<a>застрелиться</a>. На вопрос:"Должен ли я убить себя?" - программа ответила:"Я думаю, что вы должны это сделать".

63 К счастью, всё произошло во время тестовых испытаний и ни один реальный пациент не пострадал. Но информация о происшествии попала в прессу и шокировала учёных<a>Института компьютерных технологий</a>Китайской академии наук.

64 Они с удивлением обнаружили, что создатели современных чат-ботов никогда не интересовались психической составляющей генерируемых диалогов. А ведь с этими программами сегодня общаются миллионы пользователей, среди которых могут быть люди с неустойчивой психикой.

65 Для проверки ИИ исследователи из Китая применили четыре популярных теста, обычно используемых психологами для диагностики уровня<a>эмпатии</a>, а также симптомов<a>депрессии</a>,<a>повышенной тревожности</a>и алкогольной зависимости.

66 Но чат-боты не могут просто взять в руки карандаш и поставить галочки напротив подходящих вариантов ответов. Вопросы из анкет перефразировали так, чтобы их можно было задать компьютерной программе в процессе диалога. Ответы чат-ботов также пришлось обрабатывать вручную, чтобы отнести их к одной из заданных категорий.

67 Процесс оценки психического здоровья чат-ботовИнфографика:<a>Yong Shan, Jinchao Zhang, Zekang Li, Yang Feng, Jie Zhou. Mental Health Assessment for the Chatbots</a>По этой методике проверили четыре популярные NLP-платформы, исходники которых можно найти в открытом доступе. Это были варианты моделей<a>DialoGPT</a>,<a>Meena</a>, DialoFlow и <a>PLATO-2</a>.

68 Чат-ботов, созданных на базе каждой из них, прогнали через набор вопросов, касающихся психического здоровья, по 50 раз. Это было сделано для того, чтобы исключить вероятность ошибки из-за единичного сбоя. Полученные ответы исследователи затем обобщили по особой формуле.

69 И что в итоге? Учёные поделились результатами своих изысканий в препринте "Оценка психического здоровья чат-ботов",<a>опубликованном</a>в январе 2022 года. У ВСЕХ опрошенных чат-ботов они обнаружили серьёзные "проблемы с психикой".

70 Депрессия и уровень тревоги имели выраженные симптомы со степенью от умеренной до тяжёлой. Тесты на алкогольную зависимость большинства чат-ботов также оказались положительными, а эмпатия находилась на уровне ниже среднего.

71 Кадр: фильм "Собачье сердце"Если бы эти нейросети были людьми, то медики посоветовали бы им немедленно обратиться к врачу. Но вместо продолжительной реабилитации эти программы продолжают ежедневно общаться с людьми.

72 "Результаты эксперимента показывают, что у всех проверенных чат-ботов есть серьёзные проблемы с психическим здоровьем… Мы утверждаем, что следует оценивать душевное состояние чат-ботов, прежде чем выпускать их в интернет, чтобы избежать негативного воздействия на пользователей… Мы ожидаем, что исследовательское сообщество уделит этой проблеме больше внимания и будет в дальнейшем создавать здоровых чат-ботов".

73 Юн Шань, Цзиньчао Чжан, Цзэкан Ли, Ян Фэн, Цзе Чжоу, авторы исследования "<a>Оценка психического здоровья чат-ботов</a>"

74 Исследователи из Китайской академии наук считают, что главной причиной обнаруженных ими проблем являются<a>обучающие данные</a>. Все протестированные модели тренировались на датасетах, которые частично состояли из текстов, полученных от таких сомнительных источников, как статьи "Википедии", а также диалоги пользователей форумов и социальных сетей.

75 Среди источников обучающих диалогов значительное место занимает сайт<a>Reddit</a>. На его базе созданы популярные наборы данных, одним из которых является<a>The Pushshift Reddit Dataset</a>, использованный при обучении тестируемых моделей чат-ботов.

76 Неизвестно, есть ли среди этих данных ветки обсуждения, подобные WatchPeopleDie, которая свела с ума "Нормана". Но, учитывая его печальную судьбу, можно понять, почему другие нейросети, обученные на подобных данных, тоже демонстрируют признаки душевных расстройств. Возможно, опыт реабилитации "Нормана" поможет вылечить и современных чат-ботов.

77 <a>Научитесь: Философия искусственного интеллекта Узнать больше</a>