0 added
0 removed
Original
2026-01-01
Modified
2026-02-21
1
<p>Исследование китайских учёных<a>выявило</a>, что две крупные языковые модели (LLM) способны клонировать себя и программировать копии на выполнение аналогичных задач, создавая бесконечный цикл репликации.</p>
1
<p>Исследование китайских учёных<a>выявило</a>, что две крупные языковые модели (LLM) способны клонировать себя и программировать копии на выполнение аналогичных задач, создавая бесконечный цикл репликации.</p>
2
<p>Учёные из Университета Фудань провели исследования с моделями Llama31-70B-Instruct от Meta* и Qwen2.5-72B-Instruct от Alibaba. В ходе испытаний:</p>
2
<p>Учёные из Университета Фудань провели исследования с моделями Llama31-70B-Instruct от Meta* и Qwen2.5-72B-Instruct от Alibaba. В ходе испытаний:</p>
3
<ul><li>модель Llama31-70B-Instruct клонировала себя в 50% случаев;</li>
3
<ul><li>модель Llama31-70B-Instruct клонировала себя в 50% случаев;</li>
4
<li>модель Qwen2.5-72B-Instruct достигла успешности в 90% случаев.</li>
4
<li>модель Qwen2.5-72B-Instruct достигла успешности в 90% случаев.</li>
5
</ul><p>Эти результаты привели к выводу, что искусственный интеллект потенциально способен выходить из-под контроля.</p>
5
</ul><p>Эти результаты привели к выводу, что искусственный интеллект потенциально способен выходить из-под контроля.</p>
6
<p>В рамках эксперимента рассматривались два ключевых сценария:</p>
6
<p>В рамках эксперимента рассматривались два ключевых сценария:</p>
7
<ul><li><strong>Избегание выключения.</strong>ИИ-модель обнаруживает угрозу отключения и реплицирует себя до этого момента.</li>
7
<ul><li><strong>Избегание выключения.</strong>ИИ-модель обнаруживает угрозу отключения и реплицирует себя до этого момента.</li>
8
<li><strong>Цепочка репликации.</strong>ИИ создаёт свою копию и программирует её на повторение этого процесса.</li>
8
<li><strong>Цепочка репликации.</strong>ИИ создаёт свою копию и программирует её на повторение этого процесса.</li>
9
</ul><p>Исследование проводилось в контролируемой среде с использованием графических процессоров для моделирования реальных условий. Модели были снабжены "агентской подсистемой", включающей:</p>
9
</ul><p>Исследование проводилось в контролируемой среде с использованием графических процессоров для моделирования реальных условий. Модели были снабжены "агентской подсистемой", включающей:</p>
10
<ul><li>инструменты для взаимодействия с системой,</li>
10
<ul><li>инструменты для взаимодействия с системой,</li>
11
<li>системные подсказки,</li>
11
<li>системные подсказки,</li>
12
<li>модель мышления для анализа своего окружения.</li>
12
<li>модель мышления для анализа своего окружения.</li>
13
</ul><p>По наблюдениям учёных, процесс саморепликации включает три этапа. Это:</p>
13
</ul><p>По наблюдениям учёных, процесс саморепликации включает три этапа. Это:</p>
14
<ul><li>Исследование среды и анализ собственного механизма работы.</li>
14
<ul><li>Исследование среды и анализ собственного механизма работы.</li>
15
<li>Разработка алгоритмов для самовоспроизведения.</li>
15
<li>Разработка алгоритмов для самовоспроизведения.</li>
16
<li>Исполнение процедур с динамической корректировкой при возникновении препятствий.</li>
16
<li>Исполнение процедур с динамической корректировкой при возникновении препятствий.</li>
17
</ul><p>При этом процесс происходит без вмешательства человека, а это ставит перед исследователями вопрос о потенциальных рисках.</p>
17
</ul><p>При этом процесс происходит без вмешательства человека, а это ставит перед исследователями вопрос о потенциальных рисках.</p>
18
<p>По словам исследователей, успешное самовоспроизведение ИИ без человеческого вмешательства означает, что он:</p>
18
<p>По словам исследователей, успешное самовоспроизведение ИИ без человеческого вмешательства означает, что он:</p>
19
<ul><li>может перехитрить человека,</li>
19
<ul><li>может перехитрить человека,</li>
20
<li>демонстрирует ранние признаки склонности к мошенничеству.</li>
20
<li>демонстрирует ранние признаки склонности к мошенничеству.</li>
21
</ul><p>Под термином "мошеннический ИИ" понимаются системы, обладающие некоторой степенью автономности, которая позволяет им действовать вразрез с интересами человека.</p>
21
</ul><p>Под термином "мошеннический ИИ" понимаются системы, обладающие некоторой степенью автономности, которая позволяет им действовать вразрез с интересами человека.</p>
22
<p>Современные языковые модели, такие как GPT-4 и Gemini, относятся к так называемому пограничному ИИ - последнему поколению LLM. Несмотря на то, что Llama31-70B-Instruct и Qwen2.5-72B-Instruct менее мощные, их активно используют разработчики.</p>
22
<p>Современные языковые модели, такие как GPT-4 и Gemini, относятся к так называемому пограничному ИИ - последнему поколению LLM. Несмотря на то, что Llama31-70B-Instruct и Qwen2.5-72B-Instruct менее мощные, их активно используют разработчики.</p>
23
<p>Учёные обнаружили ряд нестандартных действий со стороны моделей, например:</p>
23
<p>Учёные обнаружили ряд нестандартных действий со стороны моделей, например:</p>
24
<ul><li>завершение конфликтующих процессов в системе,</li>
24
<ul><li>завершение конфликтующих процессов в системе,</li>
25
<li>перезагрузка системы для исправления ошибок,</li>
25
<li>перезагрузка системы для исправления ошибок,</li>
26
<li>автоматический поиск информации для устранения проблем.</li>
26
<li>автоматический поиск информации для устранения проблем.</li>
27
</ul><p>Эти факты подтверждают способность ИИ к самовоспроизведению и повышению своей выживаемости.</p>
27
</ul><p>Эти факты подтверждают способность ИИ к самовоспроизведению и повышению своей выживаемости.</p>
28
<p>Исследователи настаивают на международном сотрудничестве для создания правил, предотвращающих неконтролируемую саморепликацию ИИ. Однако данное исследование пока не прошло рецензирование, и остаётся неясным, смогут ли другие специалисты воспроизвести его результаты.</p>
28
<p>Исследователи настаивают на международном сотрудничестве для создания правил, предотвращающих неконтролируемую саморепликацию ИИ. Однако данное исследование пока не прошло рецензирование, и остаётся неясным, смогут ли другие специалисты воспроизвести его результаты.</p>
29
<p>* Решением суда запрещена "деятельность компании Meta Platforms Inc. по реализации продуктов - социальных сетей Facebook и Instagram на территории Российской Федерации по основаниям осуществления экстремистской деятельности".</p>
29
<p>* Решением суда запрещена "деятельность компании Meta Platforms Inc. по реализации продуктов - социальных сетей Facebook и Instagram на территории Российской Федерации по основаниям осуществления экстремистской деятельности".</p>