OpenAI запускает поискового робота для анализа контента на веб-сайтах
2026-02-21 04:04 Diff

Онлайн-журнал для тех, кто влюблён в код и информационные технологии. Пишем для айтишников и об айтишниках.

GPTBot — новый поисковый робот компании OpenAI, который будет просматривать и анализировать веб-страницы в поисках контента для обучения ИИ-моделей. При этом он умеет отфильтровывать ресурсы, которые требуют платного доступа, содержат персональную информацию пользователей или нарушают внутренние правила компании. По мнению экспертов, его запуск связан с разработкой и обучением ChatGPT-5.

Если вы не хотите, чтобы данные вашего сайта или блога использовались бесплатно для обучения ИИ-моделей, то вы можете заблокировать доступ GPTBot. Информация об этом появилась в документации к API Open AI.

Для запрета доступа GPTBot к сайту в файл robots.txt добавьте текст:

User-agent: GPTBot Disallow: /

Теперь поисковый робот не сможет использовать информацию с вашего сайта. Если вы хотите запретить доступ только к определённым разделам сайта и папкам, то их можно явно указать в тексте:

User-agent: GPTBot Allow: /directory-1/ Disallow: /directory-2/