Rivalry2

HTML Diff

0 added 0 removed

Original 2026-01-01

Modified 2026-02-21

1 <a>#Мнения</a>

2 <ul><li>6 июл 2023</li>

3 <li>0</li>

4 </ul>Не в каждой EdTech-компании есть специалист по психометрике, но в каждой есть аналитические задачи, которые по сути - психометрические.

5 Иллюстрация: Colowgee / Stable Diffusion / Moose Photos / D. Xavier / Pexels / freepik / Colowgee для Skillbox Media

6 Онлайн-журнал для тех, кто работает или хочет работать в сфере образования. Рассказываем о трендах, теории и полезных практиках.

7 Что такое<a>психометрика</a>, знает не каждый продакт-менеджер и даже основатель EdTech-компании - а между тем, это наука, которая необходима этой сфере для качественного анализа данных, считает экс-менеджер по продукту в образовательных проектах "Яндекса"Анна Харламова. Знания психометрики помогли ей в работе над продуктами "Яндекс Учебника".

8 На встрече с абитуриентами магистерской<a>программы</a>"Обучение и оценивание как наука" Института образования НИУ ВШЭ, которую Анна окончила сама, она назвала шесть продуктовых задач, которые в идеале стоит решать с опорой на психометрику.

9 Образовательные продукты, как и любые другие IT-продукты, можно описать десятками разных метрик. С точки зрения владельцев бизнеса, ключевые из них, конечно, экономические и маркетинговые - то есть бизнес-метрики. Психометрика же обычно занимается измерением характеристик или способности человека - так при чём здесь продукт?

10 Дело в том, что для бизнеса такие явления тоже важны, хоть измеряются они и не в деньгах. Спикер объясняет это так: тот факт, что у студентов на EdTech-платформе классные задания и оптимальный уровень сложности, влияет на их удовлетворённость. Она, в свою очередь, определяет, как долго они покупают продукт.

11 Вот некоторые из задач, в которых аналитику в EdTech, по мнению Анны Харламовой, пригодятся знания психометрики.

12 Здесь важно правильно спроектировать опросник. Известно, например, что в оценке любого продукта пользователи обычно выбирают средний балл или вообще игнорируют опрос, если у них нет претензий. Чтобы разобраться, как из этих редких оценок получить действительно информативные данные и в каком виде результаты предъявить коллегам, нужны навыки работы со статистикой и психометрикой в целом.

13 Это самая понятная история для образовательных продуктов, такие инструменты измерения нужны всем. Чтобы их создавать, нужны навыки разработки тестовых заданий. А ещё - умение забрифовать программистов так, чтобы результаты решения тестов сохранялись в том виде, в котором их можно будет обрабатывать. Для этого надо понимать, какие статистические методы необходимо использовать в обработке с учётом пропусков и других аномалий, которые возникают во время работы с тестами.

14 Как понять, что у нас в системе для какого-то задания сохранён неправильный ключ - то есть неверный ответ в тесте засчитывается как правильный? Для этого нужно постоянно анализировать результаты учащихся. Это помогает убедиться в том, что каждое задание ведёт себя предсказуемо. В норме должно быть так: с простыми заданиями справляется большинство, а самые сложные правильно решают только самые сильные учащиеся. Если результаты какого-то задания выбиваются из такой картины, это повод его перепроверить.

15 Анализировать ответы на тесты и другие промежуточные результаты важно, чтобы вовремя увидеть, кому из учащихся на платформе требуется помощь. Например, если студент долго не справляется с заданиями, можно предоставить ему ментора.

16 На то, как долго "проживёт" пользователь EdTech-продукта, как правило, влияют две базовые характеристики: насколько обучение интересное и насколько оно сложное. Иногда эти характеристики трудно отделить друг от друга. Например, почему студенты бросают курс после конкретного урока - потому что он просто неинтересный или потому что слишком сложный? А если сложный - то сложный он объективно или это когорта учащихся подобралась слабая?

17 Чтобы ответить на эти вопросы, надо обладать базовыми знаниями статистического анализа, уметь правильно задавать вопросы, переводить их на язык данных и понимать сложные модели факторного анализа.

18 Как и <a>адаптивные</a>алгоритмы, они позволяют автоматически подбирать для каждого учащегося на платформе следующее задание максимально подходящего ему уровня сложности. Например, в Duolingo человеку предлагается оптимальное количество заданий и оптимальный уровень сложности, чтобы его интерес постоянно сохранялся на высоком уровне.

19 Чтобы такие системы работали, изначально нужно делать много измерений - знать уровень каждого ученика и уровень сложности всего контента на платформе, понимать, каким образом определяется, что человек освоил умение.

20 Если EdTech-платформа работает с B2В-клиентами или госзаказчиками, ей нужно показывать потенциальным покупателям, какой эффект бывает от обучения, и доказывать, что продукт работает. Здесь тоже есть место психометрическим задачам.

21 При этом психометрика чаще всего необходима не начинающему продукту, а там, где нужно работать с возвращаемостью и повторным опытом студентов. Отличие от стартапа в том, что у зрелого продукта уже собраны данные о пользователях, а значит, есть место для вразумительной учебной аналитики.

22 Больше интересного про образование ― в нашем<a>телеграм-канале</a>. Подписывайтесь!

23 <a>Научитесь: Профессия Менеджмент в онлайн-образовании Узнать больше</a>