0 added
0 removed
Original
2026-01-01
Modified
2026-02-21
1
<p><a>#статьи</a></p>
1
<p><a>#статьи</a></p>
2
<ul><li>14 май 2024</li>
2
<ul><li>14 май 2024</li>
3
<li>0</li>
3
<li>0</li>
4
</ul><h2>Как измерять качество обучения на курсах: подход "Нетологии"</h2>
4
</ul><h2>Как измерять качество обучения на курсах: подход "Нетологии"</h2>
5
<p>На конференции, организованной компанией, рассказали, как провели исследование и разработали свою систему оценки качества.</p>
5
<p>На конференции, организованной компанией, рассказали, как провели исследование и разработали свою систему оценки качества.</p>
6
<p>Фото: Ridofranz / Getty Images</p>
6
<p>Фото: Ridofranz / Getty Images</p>
7
<p>Редактор направления "Образование" Skillbox Media.</p>
7
<p>Редактор направления "Образование" Skillbox Media.</p>
8
<p>Рынок онлайн-образования продолжает искать универсальный подход к оценке качества курсов, который стал бы ориентиром как для компаний на этом рынке, так и для клиентов онлайн-школ. В начале апреля на Московском международном салоне образования (ММСО)<a>анонсировали</a>большой совместный проект Института образования НИУ ВШЭ и продуктово-методической команды Skillbox по созданию новой модели оценки качества онлайн-образования. Там же участники проекта представили<a>результаты</a>исследовательского этапа - анализа и обобщения существующих в мировой практике моделей оценки качества образовательных технологий и продуктов.</p>
8
<p>Рынок онлайн-образования продолжает искать универсальный подход к оценке качества курсов, который стал бы ориентиром как для компаний на этом рынке, так и для клиентов онлайн-школ. В начале апреля на Московском международном салоне образования (ММСО)<a>анонсировали</a>большой совместный проект Института образования НИУ ВШЭ и продуктово-методической команды Skillbox по созданию новой модели оценки качества онлайн-образования. Там же участники проекта представили<a>результаты</a>исследовательского этапа - анализа и обобщения существующих в мировой практике моделей оценки качества образовательных технологий и продуктов.</p>
9
<p>Работа в этом направлении очень актуальна, потому что в настоящее время не существует даже общепринятого определения качества в онлайн-обучении. В это понятие можно включить самое разное содержание, и практически каждая компания, работающая на EdTech-рынке, оценивает качество своих курсов по-своему.</p>
9
<p>Работа в этом направлении очень актуальна, потому что в настоящее время не существует даже общепринятого определения качества в онлайн-обучении. В это понятие можно включить самое разное содержание, и практически каждая компания, работающая на EdTech-рынке, оценивает качество своих курсов по-своему.</p>
10
<p>При этом даже на уровне одной компании те или иные подразделения могут по-разному отвечать на вопрос "Что означает "качественный образовательный продукт“?". В свою очередь, у студентов бывают собственные представления о качественном онлайн-обучении - и оценку курсу они в итоге выставляют исходя из этих представлений. Можно ли "подружить" все эти разные подходы, чтобы объективно измерить качество?</p>
10
<p>При этом даже на уровне одной компании те или иные подразделения могут по-разному отвечать на вопрос "Что означает "качественный образовательный продукт“?". В свою очередь, у студентов бывают собственные представления о качественном онлайн-обучении - и оценку курсу они в итоге выставляют исходя из этих представлений. Можно ли "подружить" все эти разные подходы, чтобы объективно измерить качество?</p>
11
<p>О том, как к решению этой проблемы подошли в "Нетологии", рассказала методолог образовательного продукта команды стратегии и результата<strong>Мария Ракульцева</strong>на конференции "<a>Качественный EdTech: проектируем опыт студента</a>", организованной School of Education, Otus и "Нетологией". Пересказываем основные тезисы из выступления спикера.</p>
11
<p>О том, как к решению этой проблемы подошли в "Нетологии", рассказала методолог образовательного продукта команды стратегии и результата<strong>Мария Ракульцева</strong>на конференции "<a>Качественный EdTech: проектируем опыт студента</a>", организованной School of Education, Otus и "Нетологией". Пересказываем основные тезисы из выступления спикера.</p>
12
<p>Мария рассказала, что присоединилась к команде "Нетологии" полгода назад. На тот момент в компании не было единого процесса отслеживания качества продукта и механизма принятия продуктовых решений на основе данных.</p>
12
<p>Мария рассказала, что присоединилась к команде "Нетологии" полгода назад. На тот момент в компании не было единого процесса отслеживания качества продукта и механизма принятия продуктовых решений на основе данных.</p>
13
<p>В линейке онлайн-школы много очень разных курсов - по форматам, тематике, длительности, уровню и целям студентов. Команды разных направлений по-своему интерпретировали и измеряли качество продукта. Поэтому, как отметила Мария, было важно разработать некую общую рамку, при этом не упуская из виду характерные особенности тех или иных курсов.</p>
13
<p>В линейке онлайн-школы много очень разных курсов - по форматам, тематике, длительности, уровню и целям студентов. Команды разных направлений по-своему интерпретировали и измеряли качество продукта. Поэтому, как отметила Мария, было важно разработать некую общую рамку, при этом не упуская из виду характерные особенности тех или иных курсов.</p>
14
<p>Мария и её коллеги начали с исследований - чтобы синхронизировать представления о качестве внутри компании и сопоставить их с тем, что считает качественным онлайн-курсом целевая аудитория - студенты. Для этого провели два исследования - внутреннее и внешнее.</p>
14
<p>Мария и её коллеги начали с исследований - чтобы синхронизировать представления о качестве внутри компании и сопоставить их с тем, что считает качественным онлайн-курсом целевая аудитория - студенты. Для этого провели два исследования - внутреннее и внешнее.</p>
15
<em>Фото: fizkes / Shutterstock</em><p>Внутреннее исследование состояло из 22 глубинных интервью с руководителями и сотрудниками компании: продюсерами, продакт-менеджерами, методистами, менеджерами по работе с экспертами, сотрудниками команды поддержки и сопровождения.</p>
15
<em>Фото: fizkes / Shutterstock</em><p>Внутреннее исследование состояло из 22 глубинных интервью с руководителями и сотрудниками компании: продюсерами, продакт-менеджерами, методистами, менеджерами по работе с экспертами, сотрудниками команды поддержки и сопровождения.</p>
16
<p>Внешнее исследование прошло в два этапа. На первом этапе команда Марии провела 13 глубинных интервью со студентами. В выборку вошли как студенты, которые положительно отзывались об обучении в "Нетологии", так и те, кто оформил возврат курса, а кроме того, студенты других онлайн-школ.</p>
16
<p>Внешнее исследование прошло в два этапа. На первом этапе команда Марии провела 13 глубинных интервью со студентами. В выборку вошли как студенты, которые положительно отзывались об обучении в "Нетологии", так и те, кто оформил возврат курса, а кроме того, студенты других онлайн-школ.</p>
17
<p>На втором этапе Мария с коллегами провели опрос среди 1019 студентов "Нетологии", которые учатся в онлайн-школе не менее месяца или завершили обучение не более полугода назад.</p>
17
<p>На втором этапе Мария с коллегами провели опрос среди 1019 студентов "Нетологии", которые учатся в онлайн-школе не менее месяца или завершили обучение не более полугода назад.</p>
18
<p>Как показали результаты исследований, с точки зрения<strong>сотрудников компании</strong>, качественный образовательный продукт должен соответствовать таким критериям:</p>
18
<p>Как показали результаты исследований, с точки зрения<strong>сотрудников компании</strong>, качественный образовательный продукт должен соответствовать таким критериям:</p>
19
<ul><li>он приводит студента к цели;</li>
19
<ul><li>он приводит студента к цели;</li>
20
<li>отвечает запросу рынка;</li>
20
<li>отвечает запросу рынка;</li>
21
<li>отвечает ожиданиям студентов и имеет хорошую обратную связь;</li>
21
<li>отвечает ожиданиям студентов и имеет хорошую обратную связь;</li>
22
<li>решает образовательные задачи;</li>
22
<li>решает образовательные задачи;</li>
23
<li>содержит грамотные материалы;</li>
23
<li>содержит грамотные материалы;</li>
24
<li>на курсе присутствуют хорошие эксперты;</li>
24
<li>на курсе присутствуют хорошие эксперты;</li>
25
<li>заявленный в позиционировании курса результат соответствует действительности.</li>
25
<li>заявленный в позиционировании курса результат соответствует действительности.</li>
26
</ul><p>В свою очередь, результаты интервью и опроса<strong>студентов</strong>показали, что, по их представлениям, для качественного курса важны:</p>
26
</ul><p>В свою очередь, результаты интервью и опроса<strong>студентов</strong>показали, что, по их представлениям, для качественного курса важны:</p>
27
<ul><li>актуальность содержания;</li>
27
<ul><li>актуальность содержания;</li>
28
<li>хороший преподаватель;</li>
28
<li>хороший преподаватель;</li>
29
<li>развёрнутая обратная связь в процессе обучения;</li>
29
<li>развёрнутая обратная связь в процессе обучения;</li>
30
<li>доступное изложение материала;</li>
30
<li>доступное изложение материала;</li>
31
<li>много практики и работа над реальными проектами;</li>
31
<li>много практики и работа над реальными проектами;</li>
32
<li>оптимальные темп и формат обучения;</li>
32
<li>оптимальные темп и формат обучения;</li>
33
<li>хорошее сопровождение.</li>
33
<li>хорошее сопровождение.</li>
34
</ul><p>Студентов также спросили, насколько эти факторы, по их мнению, выражены в курсах "Нетологии". Как отметила Мария, это тоже была очень полезная информация, чтобы определить сильные стороны продукта и те, над которыми стоит ещё поработать.</p>
34
</ul><p>Студентов также спросили, насколько эти факторы, по их мнению, выражены в курсах "Нетологии". Как отметила Мария, это тоже была очень полезная информация, чтобы определить сильные стороны продукта и те, над которыми стоит ещё поработать.</p>
35
<p>Затем Мария и её коллеги сопоставили факторы, выделенные благодаря внутреннему и внешнему исследованиям, чтобы сформировать целостное представление о качественном курсе. Кроме того - соотнесли каждый ключевой фактор с показателем, который можно измерять. По словам спикера, для некоторых из них существуют очевидные метрики - например, CSI (англ. Customer Satisfaction Index) для измерения удовлетворённости студента разными аспектами обучения, от взаимодействия с преподавателями до скорости проверки домашек. Для других факторов подобрать подходящую метрику оказалось сложнее - скажем, для оценки актуальности контента специальной метрики не было.<strong></strong></p>
35
<p>Затем Мария и её коллеги сопоставили факторы, выделенные благодаря внутреннему и внешнему исследованиям, чтобы сформировать целостное представление о качественном курсе. Кроме того - соотнесли каждый ключевой фактор с показателем, который можно измерять. По словам спикера, для некоторых из них существуют очевидные метрики - например, CSI (англ. Customer Satisfaction Index) для измерения удовлетворённости студента разными аспектами обучения, от взаимодействия с преподавателями до скорости проверки домашек. Для других факторов подобрать подходящую метрику оказалось сложнее - скажем, для оценки актуальности контента специальной метрики не было.<strong></strong></p>
36
<p>Параллельно с этим в "Нетологии" пересмотрели все метрики качества, которые фиксировали ранее, - чтобы оценить их валидность и репрезентативность, выделив те, на которые действительно можно опираться. Отобранные в результате метрики команда Марии разместила на универсальной<a>SJM</a> - карте пути студента. На ней наглядно отобразили, на каком этапе взаимодействия учащегося с курсом измеряется та или иная метрика и какой вывод из этой информации можно сделать.</p>
36
<p>Параллельно с этим в "Нетологии" пересмотрели все метрики качества, которые фиксировали ранее, - чтобы оценить их валидность и репрезентативность, выделив те, на которые действительно можно опираться. Отобранные в результате метрики команда Марии разместила на универсальной<a>SJM</a> - карте пути студента. На ней наглядно отобразили, на каком этапе взаимодействия учащегося с курсом измеряется та или иная метрика и какой вывод из этой информации можно сделать.</p>
37
<p>Также Мария и её коллеги проанализировали, на какие показатели ориентируется российский и зарубежный EdTech-рынки, какие есть тренды в оценке качества образовательных продуктов.</p>
37
<p>Также Мария и её коллеги проанализировали, на какие показатели ориентируется российский и зарубежный EdTech-рынки, какие есть тренды в оценке качества образовательных продуктов.</p>
38
<p>Результаты проведённой работы привели к созданию новой системы контроля качества, основанной на иерархической матрице метрик.</p>
38
<p>Результаты проведённой работы привели к созданию новой системы контроля качества, основанной на иерархической матрице метрик.</p>
39
<p>Новая система оценки сфокусирована на качестве образовательного продукта в связке с доходом. Как пояснила Мария, качество и деньги нельзя отделить друг от друга, потому что именно качественный продукт удерживает студента в долгосрочной перспективе, побуждает его совершать повторные покупки - например, после курса профессионального переобучения приобретать курсы для развития в этой профессии, актуализации навыков и так далее. Также качество курса влияет на реферальность - процент новых студентов, которые пришли в школу по рекомендации выпускников.</p>
39
<p>Новая система оценки сфокусирована на качестве образовательного продукта в связке с доходом. Как пояснила Мария, качество и деньги нельзя отделить друг от друга, потому что именно качественный продукт удерживает студента в долгосрочной перспективе, побуждает его совершать повторные покупки - например, после курса профессионального переобучения приобретать курсы для развития в этой профессии, актуализации навыков и так далее. Также качество курса влияет на реферальность - процент новых студентов, которые пришли в школу по рекомендации выпускников.</p>
40
<p>Разработанная матрица метрик представляет собой древообразную структуру с горизонтальными уровнями и вертикальными "ветвями". Итак, главной целевой метрикой стал доход (revenue). На него влияют метрики первого уровня - реферальность и повторные покупки. Они, в свою очередь, зависят от метрик второго уровня, к которым относятся:</p>
40
<p>Разработанная матрица метрик представляет собой древообразную структуру с горизонтальными уровнями и вертикальными "ветвями". Итак, главной целевой метрикой стал доход (revenue). На него влияют метрики первого уровня - реферальность и повторные покупки. Они, в свою очередь, зависят от метрик второго уровня, к которым относятся:</p>
41
<ul><li><strong>процент возвратов</strong>по причине, когда студентов не устроило качество продукта;</li>
41
<ul><li><strong>процент возвратов</strong>по причине, когда студентов не устроило качество продукта;</li>
42
<li><strong>NPS (англ. Net Promoter Score) продукта</strong> - показатель готовности студентов рекомендовать курсы другим людям;</li>
42
<li><strong>NPS (англ. Net Promoter Score) продукта</strong> - показатель готовности студентов рекомендовать курсы другим людям;</li>
43
<li><strong>общий CSI</strong>- индекс удовлетворённости студентов курсами школы;</li>
43
<li><strong>общий CSI</strong>- индекс удовлетворённости студентов курсами школы;</li>
44
<li><strong>retention rate</strong>- коэффициент удержания пользователей, который отражает вовлечённость студентов, их активность во взаимодействии с курсами;</li>
44
<li><strong>retention rate</strong>- коэффициент удержания пользователей, который отражает вовлечённость студентов, их активность во взаимодействии с курсами;</li>
45
<li><strong>достижение студентами поставленных целей</strong>в результате обучения.</li>
45
<li><strong>достижение студентами поставленных целей</strong>в результате обучения.</li>
46
</ul><p>Эти метрики, по словам Марии, выбраны как самые релевантные для текущих задач компании и отражающие результаты исследований.</p>
46
</ul><p>Эти метрики, по словам Марии, выбраны как самые релевантные для текущих задач компании и отражающие результаты исследований.</p>
47
<p>При движении от уровня к уровню показатели детализируются - начиная от данных по школе в целом и переходя к отдельным направлениям, наборам курсов и отдельным курсам, занятиям и модулям, единицам контента. За срезом показателей на каждом уровне следят ответственные сотрудники. Например, на первом уровне это продакт-менеджеры, на втором - образовательные продакт-менеджеры и тимлиды, на третьем и далее - педагогические дизайнеры, менеджеры по работе с экспертами, координаторы.</p>
47
<p>При движении от уровня к уровню показатели детализируются - начиная от данных по школе в целом и переходя к отдельным направлениям, наборам курсов и отдельным курсам, занятиям и модулям, единицам контента. За срезом показателей на каждом уровне следят ответственные сотрудники. Например, на первом уровне это продакт-менеджеры, на втором - образовательные продакт-менеджеры и тимлиды, на третьем и далее - педагогические дизайнеры, менеджеры по работе с экспертами, координаторы.</p>
48
<p>При этом есть взаимосвязанные группы метрик, расположенные на отдельных "ветвях". Например, CSI разделяется на более мелкие показатели по отдельным параметрам - работе экспертов, контенту, сопровождению. На следующих уровнях они всё больше уточняются - до CSI отдельных модулей и единиц контента.</p>
48
<p>При этом есть взаимосвязанные группы метрик, расположенные на отдельных "ветвях". Например, CSI разделяется на более мелкие показатели по отдельным параметрам - работе экспертов, контенту, сопровождению. На следующих уровнях они всё больше уточняются - до CSI отдельных модулей и единиц контента.</p>
49
<em>Изображение: слайд из презентации Марии Ракульцевой / "Нетология"</em><p>Также в "Нетологии" сформулировали принципы работы с этой системой и принятия продуктовых решений:</p>
49
<em>Изображение: слайд из презентации Марии Ракульцевой / "Нетология"</em><p>Также в "Нетологии" сформулировали принципы работы с этой системой и принятия продуктовых решений:</p>
50
<ul><li>Работа над улучшением качества может происходить и сверху вниз, и снизу вверх. Например, если какой-либо показатель на верхних уровнях просел либо неожиданно вырос, можно спуститься по соответствующей "ветке" и выяснить причину. А также - отслеживать, как изменения на нижних уровнях системы влияют на показатели выше.</li>
50
<ul><li>Работа над улучшением качества может происходить и сверху вниз, и снизу вверх. Например, если какой-либо показатель на верхних уровнях просел либо неожиданно вырос, можно спуститься по соответствующей "ветке" и выяснить причину. А также - отслеживать, как изменения на нижних уровнях системы влияют на показатели выше.</li>
51
<li>Каждый сотрудник, отвечающий за качество продукта на том или ином уровне, принимает решения с опорой на соответствующие показатели, связки метрик и их динамику, и действует в рамках своей зоны ответственности.</li>
51
<li>Каждый сотрудник, отвечающий за качество продукта на том или ином уровне, принимает решения с опорой на соответствующие показатели, связки метрик и их динамику, и действует в рамках своей зоны ответственности.</li>
52
<li>При принятии решений учитывается соответствующий уровень и "ветка" - то есть, опять же, для решения проблемы нужно видеть её место в общей структуре и принимать во внимание, что влияет на показатели того или иного уровня.</li>
52
<li>При принятии решений учитывается соответствующий уровень и "ветка" - то есть, опять же, для решения проблемы нужно видеть её место в общей структуре и принимать во внимание, что влияет на показатели того или иного уровня.</li>
53
</ul><p>Сейчас, по словам спикера, в "Нетологии" проверяют эффективность новой системы: насколько вырастет скорость принятия решения, как изменения повлияют на качество образовательных продуктов. В течение 2024 года, как рассказала Мария, команде онлайн-школы хотелось бы научиться предсказывать поведение метрик - например, если какая-то из них снизилась или выросла, то каким образом изменится другая. А ещё сейчас идёт третья часть исследования представлений о качестве курсов - на этот раз с точки зрения работодателей. Как отметила Мария, интересно взглянуть на студента не как на потребителя образовательного продукта, а как на своего рода "продукт", который школа выпускает на рынок труда.</p>
53
</ul><p>Сейчас, по словам спикера, в "Нетологии" проверяют эффективность новой системы: насколько вырастет скорость принятия решения, как изменения повлияют на качество образовательных продуктов. В течение 2024 года, как рассказала Мария, команде онлайн-школы хотелось бы научиться предсказывать поведение метрик - например, если какая-то из них снизилась или выросла, то каким образом изменится другая. А ещё сейчас идёт третья часть исследования представлений о качестве курсов - на этот раз с точки зрения работодателей. Как отметила Мария, интересно взглянуть на студента не как на потребителя образовательного продукта, а как на своего рода "продукт", который школа выпускает на рынок труда.</p>
54
<p>Те, кто хорошо знаком с <a>системой метрик</a>, которые чаще всего используют онлайн-школы, наверняка уже заметили, что в модели, которую описала Мария Ракульцева, отсутствует очень популярная метрика COR (англ. Completion Rate) - процент доходимости студентов до конца обучения. Вопрос о том, почему в "Нетологии" её не используют как основную, затронули во время другой дискуссии в рамках той же конференции - "Проектирование reskill vs проектирование upskill". На эту тему высказалась<strong>Арина Пантина</strong>, образовательный продакт-менеджер направления "Креативные индустрии" в "Нетологии".</p>
54
<p>Те, кто хорошо знаком с <a>системой метрик</a>, которые чаще всего используют онлайн-школы, наверняка уже заметили, что в модели, которую описала Мария Ракульцева, отсутствует очень популярная метрика COR (англ. Completion Rate) - процент доходимости студентов до конца обучения. Вопрос о том, почему в "Нетологии" её не используют как основную, затронули во время другой дискуссии в рамках той же конференции - "Проектирование reskill vs проектирование upskill". На эту тему высказалась<strong>Арина Пантина</strong>, образовательный продакт-менеджер направления "Креативные индустрии" в "Нетологии".</p>
55
<p>Арина объяснила, что в "Нетологии" этот показатель используют лишь как вспомогательный, чтобы разобраться в причинах изменения других метрик. По её мнению, у COR есть несколько важных ограничений. Во-первых, отсутствует единая методика подсчёта доходимости, а раз COR можно считать самыми разными способами, значит, этой метрикой легко манипулировать. Как заметила Арина, ей известны несколько "относительно честных" способов довести COR до 100%.</p>
55
<p>Арина объяснила, что в "Нетологии" этот показатель используют лишь как вспомогательный, чтобы разобраться в причинах изменения других метрик. По её мнению, у COR есть несколько важных ограничений. Во-первых, отсутствует единая методика подсчёта доходимости, а раз COR можно считать самыми разными способами, значит, этой метрикой легко манипулировать. Как заметила Арина, ей известны несколько "относительно честных" способов довести COR до 100%.</p>
56
<p>Во-вторых, для некоторых типов курсов стремиться к максимальной доходимости попросту нет смысла. Это относится, например, к длительным курсам профессионального переобучения, на которые студенты приходят с целью получить новую профессию и трудоустроиться либо выйти на фриланс. Нередко они бросают обучение на середине просто потому, что достигают желаемой цели ещё в процессе прохождения курса. В таком случае низкий COR нерелевантен для оценки качества образовательного продукта, ведь студент остаётся доволен - он получил то, что хотел. Кстати, аналогичную точку зрения<a>высказывал</a>в феврале управляющий директор Ultimate Education<strong>Никита Подлипский</strong>на семинаре Института образования НИУ ВШЭ о перспективах EdTech.</p>
56
<p>Во-вторых, для некоторых типов курсов стремиться к максимальной доходимости попросту нет смысла. Это относится, например, к длительным курсам профессионального переобучения, на которые студенты приходят с целью получить новую профессию и трудоустроиться либо выйти на фриланс. Нередко они бросают обучение на середине просто потому, что достигают желаемой цели ещё в процессе прохождения курса. В таком случае низкий COR нерелевантен для оценки качества образовательного продукта, ведь студент остаётся доволен - он получил то, что хотел. Кстати, аналогичную точку зрения<a>высказывал</a>в феврале управляющий директор Ultimate Education<strong>Никита Подлипский</strong>на семинаре Института образования НИУ ВШЭ о перспективах EdTech.</p>
57
<p>Вообще, как добавила Арина Пантина, хотелось бы измерять как раз изменения, которые происходят со студентом во время обучения или после курса (например, в карьере). Но зачастую это делать очень сложно, потому что для таких изменений требуются время и собственные усилия студента.</p>
57
<p>Вообще, как добавила Арина Пантина, хотелось бы измерять как раз изменения, которые происходят со студентом во время обучения или после курса (например, в карьере). Но зачастую это делать очень сложно, потому что для таких изменений требуются время и собственные усилия студента.</p>
58
<p>Больше интересного про образование ― в нашем<a>телеграм-канале</a>. Подписывайтесь!</p>
58
<p>Больше интересного про образование ― в нашем<a>телеграм-канале</a>. Подписывайтесь!</p>
59
59