Искусственный интеллект изобретает языки, которые люди не понимают. Должны ли мы остановить его?
2026-02-26 19:56 Diff
https://ru.hexlet.io/blog/posts/ai-is-inventing-its-own-languages

Это перевод заметки Марка Уилсона AI Is Inventing Languages Humans Can’t Understand. Should We Stop It?.

Инфоаналитики Facebook обнаружили, что их боты общаются на новом языке. И остановили их.

Боб: “I can can I I everything else.”

Элис: “Balls have zero to me to me to me to me to me to me to me to me to.”

Для всех нас этот диалог выглядит как бред. Но что, если я скажу вам, что этот бред — общение, возможно, самого технически сложного коммуникативного софта на всей планете? Коммуникативный софт, который обучался и развивался, чтобы достичь лучшего результата с большей скоростью и производительностью, на которые я или вы когда либо были способны, и возможно, со скрытыми способностями? И это правда.

Этот разговор произошел между двумя агентами искусственного интеллекта (ИИ), разработанными компанией Facebook. Изначально они переговаривались друг с другом на английском. Но позже инженеры поняли, что ошиблись, программируя их.

«Не было никакого смысла придерживаться английского», — говорит Дхрув Батра, инженер Georgia Tech из Facebook AI Research (FAIR). Учитывая то, что эти два агента конкурировали за лучший результат — это такая высокоэффективная схватка ИИ против ИИ — инженеры модифицировали «генеративно-состязательную сеть», и ни у одного из ботов не стало стимула общаться как люди. Поэтому они стали отклоняться от нормы и смешивать реальные слова в кажущиеся бессмысленными предложения.

«Агенты будут отклоняться от понятного языка и изобретать кодовые слова для себя», — говорит Батра, высказываясь в пользу уже предсказуемого явления, которое встречается тут, тут, и тут. «Как если бы я сказал «оно» пять раз, а вы бы поняли, что мне нужны пять копий определённого предмета. Это не сильно отличается от того, как сообщества людей придумывают сокращённые понятия».

Без вопросов. Люди разработали уникальные диалекты для всего: от торговли свиными брюшками в торговом зале биржи, до слежки за террористами, как Seal Team Six, просто потому, что иногда они лучше справляются с реальностью, не придерживаясь соглашений об обычном языке.

Так можем ли мы позволить софту делать то же самое? Должны ли мы позволить ИИ развивать диалекты для конкретных задач, касающихся разговоров с другими ИИ? Практически сплетничать у нас за спиной? Может быть, у нас появилась бы возможность реализовать окружающее, в котором всё взаимодействует намного теснее, более совершенный мир, где iPhone не задумываясь общаются с холодильниками, которые в свою очередь общаются с автомобилями.

Компромисс в том, что мы, человечество, не сможем понимать, что эти машины фактически говорят друг другу.

Мы обучаем ботов говорить, но никогда не выучим их язык

Facebook в результате предпочли потребовать от своих коммуникационных ботов использовать простой английский язык. «Нас интересовали программы, способные говорить с людьми, — говорит Майк Льюис, сотрудник FAIR. Facebook — не единственный с такими взглядами. Когда я спросил Microsoft о языках компьютеров для компьютеров, их представитель пояснил, что Microsoft больше заинтересован в коммуникации человек-компьютер. В то же самое время, Google, Amazon и Apple также максимально фокусируются на разработке интерактивных собеседников для людей. Они — следующая волна пользовательского интерфейса, как мышь и клавиатура эпохи ИИ.

Другая проблема, как признает Facebook, в том, что нет возможности по-настоящему понять любой отклоняющийся язык ботов. «Важно помнить, что нет билингвов, носителей языка искусственного интеллекта и человеческого», — говорит Батра. Уже сейчас мы почти не понимаем, насколько комплексно рассуждают ИИ, потому что мы не можем заглянуть в процесс их мышления. Если в этот сценарий добавить диалог ИИ с ИИ, всё усложнится ещё больше.

Но в то же время эти рассуждения кажутся недальновидными, правда? Если можно писать программы, которые могут говорить с другими программами более эффективно, разве мы не можем этим воспользоваться? Можно же из этого извлечь хоть какую-то пользу?

Потому что, опять же, мы можем направлять машины разрабатывать собственные языки. У Facebook есть три научных публикации, подтверждающих это. «Это безусловно возможно... возможно, что [язык] может быть сжат не только для экономии символов, а чтобы он мог выразить сложную мысль», — говорит Батра. Машины могут вести диалог с помощью любых базовых строительных блоков, которые им предлагаются. Можно начать со словаря человеческого языка, как у коммуникационных ботов Facebook. С цифр или двоичных кодов. Но по мере того, как машины будут разрабатывать смыслы, эти символы станут «токенами» — деталями, которые имеют насыщенное значение. Как замечает Дофин, машины могут не думать как вы или я, но токены позволят им обмениваться невероятно сложными мыслями через простейшие символы. Я представляю это себе через алгебру: если A + B = C, «A» может инкапсулировать почти все. Но для компьютера значимость «А» намного больше, чем того же «А» для человека, потому что компьютеры не имеют абсолютного ограничения в вычислительной мощности.

«Вполне возможно, чтобы специальный токен был носителем очень сложной мысли», — говорит Батра. «Причина, по которой люди используют анализ — дробление идей на более простые концепции — в том, что у нас есть предел познания». Компьютеры не нуждаются в упрощении понятий. У них есть естественная мощность для их обработки.

Почему мы должны позволить ботам сплетничать

Но как может любая из этих технологий, кроме теоретических дискуссий, принести пользу миру? Заработают ли наши серверы эффективнее благодаря ботам, которые говорят друг с другом сокращениями? Появится ли у микросекундных процессов, таких как алгоритмическая торговля, какой-то разумный рост? Беседуя с Facebook и различными специалистами в этой области, я не получил чёткого ответа.

Однако, как бы парадоксально это не звучало, мы могли бы лучше расценить выгоду от подобного софта, тщательней разобравшись в своих намерениях. В то время, как два компьютера, говорящие на своем собственном языке, могут быть очень нечёткими, алгоритм, предрасположенный к изучению новых языков, может пережевывать странные новые данные, которыми мы кормим его, эффективнее. Например, один инженер недавно попытался научить нейронную сеть создавать новые цвета и называть их. Это было ужасно: он генерировал такие названия, как Случайная сосна и Прозрачная паста (эта прозрачная паста, кстати, была ярким зеленым цветом). Но затем они немного изменили данные, которыми кормили машину, обучая её. Они сделали всё в нижнем регистре, потому что строчные и прописные буквы сбивали программу с толку. Внезапно цветогенератор заработал ну очень хорошо! И по какой-то причине он предпочитал и работал лучше, со значениями в RGB, чем с другими цифровыми цветокодами.

Почему на ИИ повлияли простые изменения данных? По большому счёту, инженер лучше проработал язык для компьютера. Как сказал один программист, «переведение данных в формат, который имеет смысл для машинного обучения — это сегодня серьёзная задача и больше искусство, чем наука. Английский язык — очень запутанный и сложный, он совсем не дружелюбный для машинного обучения».

Другими словами, машины, позволяющие говорить на машинных языках и генерировать их, могли бы позволить нам качественнее общаться с машинами (и даже контролировать их), просто потому, что они будут предрасположены лучше понимать человеческие слова.

Как сказал работник одной крупной компании, занимающейся ИИ: его компания не заинтересована всерьёз в ИИ, который бы создавал собственные специальные языки. Но если бы это и было так, то самое большое преимущество, которое он может представить — возможность научить софт, приложения и сервисы коммуницировать друг с другом без вмешательства человека.

Прямо сейчас таким компаниям, как Apple, нужно создавать API — своеобразный софт-мост, состоящий из всевозможных стандартов, которые должны соблюдать другие компании, чтобы их продукты могли взаимодействовать. Однако, API требуют многолетней разработки, а об их стандартах остро дискутируют в индустрии десятилетиями. Но софт, который может свободно обучаться коммуникации с другим софтом, может генерировать свои краткие выражения для нас. Это означает, что наши «умные устройства» могут научиться взаимодействовать без всяких API.

Учитывая, что наша коммуникативная эпоха немного разочаровывает, что интернет вещей в целом — дурацкая шутка, и что передать документ с телефона Android на телевизор LG сегодня не проще, чем 10 лет назад, может быть, есть смысл в том, чтобы позволить сегодняшнему ИИ просто обсудить это от нашего имени. Потому что сегодняшние корпорации не могут что-то решить. А эти состязательные сети? Они все умеют.

Эти идеи также рассматривались в 10 выпуске подкаста Хекслет «Антиутопия и интернет, который мы потеряли».