Исследователи из Тель-Авивского университета создали NLP-бенчмарк для больших текстов
2026-02-21 01:37 Diff

Любитель научной фантастики и технологического прогресса. Хорошо сочетает в себе заумного технаря и утончённого гуманитария. Пишет про IT и радуется этому.

Специалисты из университета Тель-Авива, Meta AI, IBM Research и Allen AI разработали Standardized CompaRison Over Long Language Sequences — SCROLLS. Эта система позволяет пользователям проверять корректность и эффективность работы их NLP-сетей на больших текстах.

Авторы провели множество экспериментов — например, вопросно-ответный формат и суммирование текста — на семи различных наборах данных, которые содержали текстовые строки длиной в тысячи символов. Результаты описаны в статье на arXiv.

Главная цель SCROLLS — расширять возможности NLP-нейросетей и позволить разработчикам обрабатывать тексты гораздо большего размера. SCROLLS содержит различные наборы данных, которые моделируют разнообразные ситуации — от отчётов правительства до сценариев телепрограмм. Авторы утверждают:

Мы надеемся, что SCROLLS вдохновит NLP-сообщество идти за границы в несколько предложений или параграфов, а также позволит справляться с задачами обработки более длинных текстов.

Набор данных для SCROLLS доступен на сайте бенчмарка, а код для воспроизведения экспериментов из статьи — на GitHub.



Бесплатный курс по Python ➞
Мини-курс для новичков и для опытных кодеров. 4 крутых проекта в портфолио, живое общение со спикером. Кликните и узнайте, чему можно научиться на курсе. Смотреть программу