Rivalry2

HTML Diff

0 added 0 removed

Original 2026-01-01

Modified 2026-02-26

1 Это перевод заметки Марка Уилсона<a>AI Is Inventing Languages Humans Can’t Understand. Should We Stop It?</a>.

2 Инфоаналитики Facebook обнаружили, что их боты общаются на новом языке. И остановили их.

3 Боб: “I can can I I everything else.”

4 Элис: “Balls have zero to me to me to me to me to me to me to me to me to.”

5 Для всех нас этот диалог выглядит как бред. Но что, если я скажу вам, что этот бред - общение, возможно, самого технически сложного коммуникативного софта на всей планете? Коммуникативный софт, который обучался и развивался, чтобы достичь лучшего результата с большей скоростью и производительностью, на которые я или вы когда либо были способны, и возможно, со скрытыми способностями? И это правда.

6 Этот разговор произошел между двумя агентами искусственного интеллекта (ИИ),<a>разработанными компанией Facebook</a>. Изначально они переговаривались друг с другом на английском. Но позже инженеры поняли, что ошиблись, программируя их.

7 "Не было никакого смысла придерживаться английского", - говорит Дхрув Батра, инженер Georgia Tech из Facebook AI Research (FAIR). Учитывая то, что эти два агента конкурировали за лучший результат - это такая высокоэффективная схватка ИИ против ИИ - инженеры модифицировали "генеративно-состязательную сеть", и ни у одного из ботов не стало стимула общаться как люди. Поэтому они стали отклоняться от нормы и смешивать реальные слова в кажущиеся бессмысленными предложения.

8 "Агенты будут отклоняться от понятного языка и изобретать кодовые слова для себя", - говорит Батра, высказываясь в пользу уже предсказуемого явления, которое встречается<a>тут</a>,<a>тут</a>, и<a>тут</a>. "Как если бы я сказал "оно" пять раз, а вы бы поняли, что мне нужны пять копий определённого предмета. Это не сильно отличается от того, как сообщества людей придумывают сокращённые понятия".

9 Без вопросов. Люди разработали уникальные диалекты для всего: от торговли свиными брюшками в торговом зале биржи, до слежки за террористами, как Seal Team Six, просто потому, что иногда они лучше справляются с реальностью, не придерживаясь соглашений об обычном языке.

10 Так можем ли мы позволить софту делать то же самое? Должны ли мы позволить ИИ развивать диалекты для конкретных задач, касающихся разговоров с другими ИИ? Практически сплетничать у нас за спиной? Может быть, у нас появилась бы возможность реализовать окружающее, в котором всё взаимодействует намного теснее, более совершенный мир, где iPhone не задумываясь общаются с холодильниками, которые в свою очередь общаются с автомобилями.

11 Компромисс в том, что мы, человечество, не сможем понимать, что эти машины фактически говорят друг другу.

12 <h3>Мы обучаем ботов говорить, но никогда не выучим их язык</h3>

13 Facebook в результате предпочли потребовать от своих коммуникационных ботов использовать простой английский язык. "Нас интересовали программы, способные говорить с людьми, - говорит Майк Льюис, сотрудник FAIR. Facebook - не единственный с такими взглядами. Когда я спросил Microsoft о языках компьютеров для компьютеров, их представитель пояснил, что Microsoft больше заинтересован в коммуникации человек-компьютер. В то же самое время, Google, Amazon и Apple также максимально фокусируются на разработке интерактивных собеседников для людей. Они - следующая волна пользовательского интерфейса, как мышь и клавиатура эпохи ИИ.

14 Другая проблема, как признает Facebook, в том, что нет возможности по-настоящему понять любой отклоняющийся язык ботов. "Важно помнить, что нет билингвов, носителей языка искусственного интеллекта и человеческого", - говорит Батра. Уже сейчас мы почти не<a>понимаем, насколько комплексно рассуждают ИИ</a>, потому что мы<a>не можем заглянуть в процесс их мышления</a>. Если в этот сценарий добавить диалог ИИ с ИИ, всё усложнится ещё больше.

15 Но в то же время эти рассуждения кажутся недальновидными, правда? Если можно писать программы, которые могут говорить с другими программами более эффективно, разве мы не можем этим воспользоваться? Можно же из этого извлечь хоть какую-то пользу?

16 Потому что, опять же, мыможемнаправлять машины разрабатывать собственные языки. У Facebook есть три научных публикации, подтверждающих это. "Это безусловно возможно... возможно, что [язык] может быть сжат не только для экономии символов, а чтобы он мог выразить сложную мысль", - говорит Батра. Машины могут вести диалог с помощью любых базовых строительных блоков, которые им предлагаются. Можно начать со словаря человеческого языка, как у коммуникационных ботов Facebook. С цифр или двоичных кодов. Но по мере того, как машины будут разрабатывать смыслы, эти символы станут "токенами" - деталями, которые имеют насыщенное значение. Как замечает Дофин, машины могут не думать как вы или я, но токены позволят им обмениваться невероятно сложными мыслями через простейшие символы. Я представляю это себе через алгебру: если A + B = C, "A" может инкапсулировать почти все. Но для компьютера значимость "А" намного больше, чем того же "А" для человека, потому что компьютеры не имеют абсолютного ограничения в вычислительной мощности.

17 "Вполне возможно, чтобы специальный токен был носителем очень сложной мысли", - говорит Батра. "Причина, по которой люди используют анализ - дробление идей на более простые концепции - в том, что у нас есть предел познания". Компьютеры не нуждаются в упрощении понятий. У них есть естественная мощность для их обработки.

18 <h3>Почему мы должны позволить ботам сплетничать</h3>

19 Но как может любая из этих технологий, кроме теоретических дискуссий, принести пользу миру? Заработают ли наши серверы эффективнее благодаря ботам, которые говорят друг с другом сокращениями? Появится ли у микросекундных процессов, таких как алгоритмическая торговля, какой-то разумный рост? Беседуя с Facebook и различными специалистами в этой области, я не получил чёткого ответа.

20 Однако, как бы парадоксально это не звучало, мы могли бы лучше расценить выгоду от подобного софта, тщательней разобравшись всвоихнамерениях. В то время, как два компьютера, говорящие на своем собственном языке, могут быть очень нечёткими, алгоритм, предрасположенный к изучению новых языков, может пережевывать странные новые данные, которыми мы кормим его, эффективнее. Например, один инженер<a>недавно попытался научить нейронную сеть создавать</a>новые цвета и называть их. Это было ужасно: он генерировал такие названия, как Случайная сосна и Прозрачная паста (эта прозрачная паста, кстати, была ярким зеленым цветом). Но затем они немного изменили данные, которыми кормили машину, обучая её. Они сделали всё в нижнем регистре, потому что строчные и прописные буквы сбивали программу с толку. Внезапно цветогенератор заработал ну очень хорошо! И по какой-то причине он предпочитал и работал лучше, со значениями в RGB, чем с другими цифровыми цветокодами.

21 Почему на ИИ повлияли простые изменения данных? По большому счёту, инженер лучше проработал язык для компьютера. Как сказал один программист, "переведение данных в формат, который имеет смысл для машинного обучения - это сегодня серьёзная задача и больше искусство, чем наука. Английский язык - очень запутанный и сложный, он совсем не дружелюбный для машинного обучения".

22 Другими словами, машины, позволяющие говорить на машинных языках и генерировать их, могли бы позволить нам качественнее общаться с машинами (и даже контролировать их), просто потому, что они будут предрасположены лучше понимать человеческие слова.

23 Как сказал работник одной крупной компании, занимающейся ИИ: его компания не заинтересована всерьёз в ИИ, который бы создавал собственные специальные языки. Но если бы это и было так, то самое большое преимущество, которое он может представить - возможность научить софт, приложения и сервисы коммуницировать друг с другом без вмешательства человека.

24 Прямо сейчас таким компаниям, как Apple, нужно создавать API - своеобразный софт-мост, состоящий из всевозможных стандартов, которые должны соблюдать другие компании, чтобы их продукты могли взаимодействовать. Однако, API требуют многолетней разработки, а об их стандартах остро дискутируют в индустрии десятилетиями. Но софт, который может свободно обучаться коммуникации с другим софтом, может генерировать свои краткие выражения для нас. Это означает, что наши "умные устройства" могут научиться взаимодействовать без всяких API.

25 Учитывая, что наша коммуникативная эпоха немного разочаровывает, что<a>интернет вещей в целом - дурацкая шутка</a>, и что передать документ с телефона Android на телевизор LG сегодня не проще, чем 10 лет назад, может быть, есть смысл в том, чтобы позволить сегодняшнему ИИ просто обсудить это от нашего имени. Потому что сегодняшние корпорации не могут что-то решить. А эти состязательные сети? Они все умеют.

26 Эти идеи также рассматривались в 10 выпуске подкаста Хекслет "<a>Антиутопия и интернет, который мы потеряли</a>".