Rivalry2

HTML Diff

1 added 4 removed

Original 2026-01-01

Modified 2026-02-21

1 <a>#Руководства</a>

2 <ul><li>24 авг 2021</li>

3 <li>0</li>

4 </ul><h2>Как оценить эффективность онлайн-курса</h2>

5 Рассказываем о важных метриках и частых ошибках, а также о том, для чего нужен методический аудит и как его провести.

6 Онлайн-журнал для тех, кто работает или хочет работать в сфере образования. Рассказываем о трендах, теории и полезных практиках.

7 Директор по продукту, преподаватель и ментор в <a>EdMarket</a>. Ментор акселератора "Нетологии". Автор курса "eLearning: от стратегии внедрения до разработки контента и оценки эффективности", книги "Архитектура корпоративного онлайн-обучения" и Telegram-канала "PRO онлайн-обучение".

8 Разработчики онлайн-курсов стремятся к тому, чтобы обучение было полезным и увлекательным. Как понять, что желаемый результат достигнут? Это не всегда очевидно, и без конкретных метрик невозможно принять взвешенное решение, стоит ли оставить всё как есть, поработать над улучшением курса или вообще закрыть его и не тратить ресурсы понапрасну. Причём часто от ответа на этот вопрос зависит судьба не только одного курса, но и целой линейки продуктов.

9 Получается, что без оценки эффективности не обойтись. Расскажем, что она в себя включает, какие метрики можно оценить и каких ошибок следует избегать.

10 Для оценки эффективности необходимо провести несколько важных действий:

11 <ul><li>Оценить результаты обучения студентов (показатели до и после прохождения курса, результаты выполнения промежуточных и финальных заданий).</li>

12 <li>Подсчитать метрики конкретного набора (промежуточные и финальные CSI и COR, финальный NPS).</li>

13 <li>Собрать обратную связь по результатам обучения от учащихся, преподавателей, аудиторов, коллег-методистов.</li>

14 </ul>В зависимости от того, что показали метрики, надо принять решение о дальнейшей судьбе курса (оставить как есть, убрать, поменять формат, содержание, периодичность наборов и так далее). Если решено доработать курс, то составить план изменений можно на основе собранной обратной связи.

15 Перед тем как говорить о метриках качества образовательного продукта, стоит определиться, с какой позиции мы смотрим на курс, потому что студент, методист и организатор обучения могут оценивать его успешность по-разному.

16 С точки зрениястудента курс полезен, когда позволяет достичь цели, ради которой он был приобретён. Обычно эта цель находится за границами обучения: например, получить повышение или сменить профессию.

17 С точки зренияметодиста курс успешен, когда после обучения произошли изменения установок и поведения человека, которые можно измерить. Например, после прохождения курса по программе Excel сотрудники стали тратить на операции с формулами на 30% меньше времени.

18 С точки зренияорганизатора обучения образовательный продукт эффективен, когда ресурсы, которые вложены в его создание и сопровождение, соразмерны выгоде, полученной в результате.

19 Когда речь идёт о корпоративном обучении, желаемые результаты для методиста и организатора обучения совпадают: заказчик (например, руководитель компании) заинтересован в том, чтобы сотрудники после прохождения курса или тренинга стали работать эффективнее и чтобы затраты на обучение были экономически оправданы.

20 Допустим, мы определились, с чьей точки зрения будем измерять успешность образовательного продукта. Посмотрим, что можно измерить.

21 <ul><li>Достижение промежуточных и финальных учебных целей: студенты выполнили домашние задания, сдали тест, подготовили дипломную работу.</li>

22 <li>Динамика посещения занятий или просмотра вебинаров на онлайн-курсе.</li>

23 <li>Динамика и скорость выполнения домашних заданий - интенсивность, с которой учатся ваши студенты.</li>

24 </ul><ul><li>Скорость и качество проверки домашних заданий. Качество обратной связи.</li>

25 <li>Качество учебного контента - как основного, так и дополнительного. Для его оценки можно ориентироваться на лайки/дизлайки студентов (если ваша LMS поддерживает такую функцию), просить заполнить анкеты для обратной связи, ввести собственные стандарты качества.</li>

26 <li>Достижение финальной цели учащегося или заказчика, которая находится за границами обучения. Например, люди покупают курс, чтобы получить соответствующую профессию и в дальнейшем трудоустроиться. Значит, здесь нам нужно измерить процент трудоустроенных после завершения обучения студентов.</li>

27 </ul>Фото: Monkey Business Images / Shutterstock<ul><li>Удовлетворённость студентов (CSI) занятиями, контентом, сопровождением, преподавателями.Можно измерять удовлетворённость курсом в целом, но полезнее запрашивать оценку по отдельным компонентам: направлениям, преподавателям, теоретическому материалу и домашним заданиям, сопровождению обучения. CSI обычно оценивается по шкале от 1 до 6, иногда от 1 до 5 или от 1 до 10.</li>

28 <li>Вовлечённость и активность студентов(оценивается общение в чатах, обратная связь).</li>

29 <li>Лояльность выпускников (NPS).После завершения обучения нужно задать студентам вопрос, насколько они готовы рекомендовать курс - по шкале от 1 до 10 (иногда используется шкала от 0 до 10). Полезно также спросить, почему оценка именно такая.</li>

30 <li>Доходимость до финала обучения (COR).При измерении важно опираться на стандарты, принятые в вашей компании. Например, в EdMarket считается, что студент прошёл обучение, если он выполнил 70% домашних работ и дипломный проект.</li>

31 <li>Процент возвратов, то есть случаев, когда студентам курс не подошёл. Если он высокий, то это повод ещё раз проанализировать информацию о вашей целевой аудитории и подумать, почему человек попал на неподходящий курс, какие ещё факторы могли способствовать отказу от обучения, что можно сделать, чтобы улучшить ситуацию.</li>

32 <li>"Инсайтометр" - количество инсайтов, подтолкнувших студентов к действию.Мы у себя ещё не полностью продумали, каким образом измерить этот показатель. Однако в каждой дипломной работе мы предлагаем студентам поделиться своими выводами, впечатлениями от обучения, планами на будущее. Это помогает выпускнику построить дальнейшую образовательную траекторию, а нам - понять, с какими знаниями, навыками и стремлениями студенты завершают обучение на определённом курсе.</li>

33 </ul>Отдельно стоит поговорить о метриках эффективности корпоративного обучения. Для этого рекомендуем использовать модель Киркпатрика - Филлипса:

34 <ul><li>Реакция.Как участники реагируют на обучающее мероприятие или другой образовательный продукт? Здесь снова оцениваются показатели CSI и NPS.</li>

35 <li>Знания и навыки.Получили ли участники желаемые знания и навыки? Тут используется метрика COR, а также оценки студентов за домашние и контрольные работы.</li>

36 <li>Изменение поведения.Применяют ли сотрудники полученные знания и навыки на рабочем месте? Это оценивается по KPI персонала, внутренним рейтингам и так далее.</li>

37 <li>Влияние на бизнес-результаты.Повлияло ли обучение на достижение целей компании? Анализируется KPI подразделения или бизнес-процесса.</li>

38 <li>Возврат от инвестиций в обучение - ROI, аббревиатура от английского термина Return on Investment. Измеряется окупаемость вложений в образовательное мероприятие или продукт.</li>

39 </ul>Множество инструментов для сбора данных и анализа метрик входят в базовую функциональность LMS-платформ. Для оценки CSI, NPS и других показателей, которые требуют обратной связи, можно использовать "Google Формы", Mentimeter и другие анкетные сервисы, помогающие оценить впечатления от курса или отследить реакцию на тот или иной его элемент.

40 - Есть два наиболее типичных упущения, на которых многие спотыкаются:

40 + Есть два наиболее типичных упущения, на которых мн��гие спотыкаются:

41 <ul><li>Обратную связь запрашивают только в конце обучения.Если вы не запросите обратную связь в начале и середине курса, то не узнаете реакцию тех людей, которые по каким-либо причинам сошли с дистанции. А это очень полезная информация: если вы поймёте, что именно в курсе не понравилось учащимся, то сможете это исправить.</li>

42 <li>Проверку домашних заданий поручают автору курса.Из-за занятости эксперта студентам порой приходится долго ждать обратной связи по домашним заданиям. В таком случае лучше поручить проверку куратору или тьютору - хотя бы частично. Полезно организовать чат, где студенты будут оперативно получать ответы на свои вопросы. Это позитивно скажется на показателе удовлетворённости обучающихся.</li>

43 </ul>Существует очень много курсов, которые были разработаны без понимания специфики онлайн-обучения и знания методик педдизайна. Их создатели, разумеется, хотят улучшать показатели эффективности, но как это сделать - не всегда очевидно. Многие обращаются за услугой методического аудита. Это задача на стыке методологии, маркетинга и бизнеса, интересов студента и организатора обучения.

44 Фото: Stock-Asso / ShutterstockЧтобы качественно провести аудит курса, методист должен обладать профессиональным опытом и насмотренностью, которую лучше всего развивать под руководством наставника. Также очень важно заранее прояснить вводные данные, иначе методист может сфокусироваться на теориях обучения и проектирования онлайн-курсов, тогда как заказчик мыслит совершенно в других категориях. Среди целей заказчика могут быть, например, такие:

45 <ul><li>повысить COR, CSI, NPS;</li>

46 <li>увеличить LTV (Lifetime Value) - общую прибыль, получаемую от клиента в ходе его взаимодействия с продуктом;</li>

47 <li>расширить линейку продуктов;</li>

48 <li>привлечь больше студентов;</li>

49 <li>получить больше положительных отзывов;</li>

50 <li>снизить количество негативных отзывов;</li>

51 <li>понять, почему люди не проходят курс до конца;</li>

52 <li>выяснить, почему в работе сотрудников нет видимых результатов после обучения на курсе.</li>

53 </ul>Допустим, вы хотите самостоятельно провести аудит своего курса либо к вам обратились с такой просьбой в отношении чужого курса. Мы составили чек-лист из вопросов, которые помогут провести проверку, и конкретных данных, которые нужно собрать для оценки. Они структурированы по семи блокам - фактически по ним и проводят оценку курса.

54 1. Понимание целевой аудитории курса организаторами обучения.

55 Посмотрите анкеты участников курса, результаты кастдева, изучите собранную от выпускников обратную связь. Это покажет, насколько чётко курс ведёт к нужным результатам конкретную целевую аудиторию с определёнными знаниями, навыками и возможностями учиться.

56 2. Методическая концепция курса и логики обучения.

57 <ul><li>Описаны ли финальные и промежуточные цели обучения?</li>

58 <li>Как выстроена логика обучения и понятна ли она?</li>

59 <li>На какие темы и подтемы делится учебная программа и почему именно так?</li>

60 <li>Какой смысл заложен в заголовках и хорошо ли они сформулированы?</li>

61 <li>Какова общая длительность обучения и почему она именно такая?</li>

62 <li>Равномерно ли распределена учебная нагрузка, есть ли перерывы?</li>

63 </ul>3. Образовательная среда курса.

64 <ul><li>Есть ли у учащегося возможность взаимодействовать с другими студентами, преподавателями?</li>

65 <li>Предусмотрено ли вводное занятие?</li>

66 <li>Даются ли учащимся рекомендации о том, как эффективно учиться и работать с внутренней мотивацией?</li>

67 <li>Ясно ли, кому и когда можно задавать вопросы?</li>

68 <li>Удобен ли интерфейс выбранной платформы, понятно ли структурирован курс со всеми его элементами и средствами коммуникаций, всё ли работает (например, видео, ссылки, интерактивные элементы)?</li>

69 <li>Понятно ли, как получать обучающий контент, выполнять и сдавать практические задания, куда приходит обратная связь от проверяющего?</li>

70 <li>Есть ли у самого студента возможность оставить обратную связь и как с ней работают организаторы обучения?</li>

71 <li>Можно ли упростить образовательную среду?</li>

72 <li>Доступно ли обучение на мобильных устройствах и удобно ли проходить курс в таком виде?</li>

73 </ul>4. Качество образовательного контента.

74 <ul><li>Какой формат учебных материалов выбран и почему?</li>

75 <li>Насколько удобно воспринимать информацию? Тут оценивается шрифт, контрастность и так далее.</li>

76 <li>Используется ли общий стиль или шаблон для представления контента?</li>

77 <li>Каков объём основной теоретической части и дополнительных материалов, почему именно такой?</li>

78 <li>Есть ли у занятий единая структура и если да, то что она в себя включает?</li>

79 <li>Приводятся ли реальные кейсы?</li>

80 <li>Рекомендуется ли дополнительная литература?</li>

81 <li>Что мы знаем о реакции учащихся на контент курса?</li>

82 <li>Что мы знаем о реакции студентов на преподавателей и подачу материала?</li>

83 <li>Насколько качественно преподаватель доносит содержание курса в выбранном формате (оценивается речь, стиль общения, качество презентационного материала, звука и видео) и как взаимодействует с учащимися?</li>

84 <li>Можно ли сократить объём теории и самостоятельного обучения, чтобы при этом не пострадала практика?</li>

85 <li>Понятно ли студентам, какой материал надо изучить обязательно, а какой - по желанию?</li>

86 <li>Нет ли ошибок и опечаток в текстах курса?</li>

87 </ul>5. Качество практических занятий.

88 <ul><li>Какие способы оценки полученных знаний выбраны (промежуточные и финальные)?</li>

89 <li>Какова интенсивность выполнения практических заданий и справляются ли с этим студенты?</li>

90 <li>Достаточно ли теоретического контента для выполнения заданий?</li>

91 <li>Как структурированы домашние задания и инструкции к выполнению практики?</li>

92 <li>Каков формат обратной связи?</li>

93 <li>Что мы знаем о реакции учащихся на практику?</li>

94 <li>Насколько практические задания соответствуют реальным задачам, с которыми затем столкнётся студент?</li>

95 <li>Понятна ли учащемуся система оценивания выполненных заданий?</li>

96 </ul>6. Данные, полученные во время обучения предыдущих потоков.

97 <ul><li>выполнение промежуточных и финальных домашних заданий, спроектированных на основе учебных целей (хорошо, если аналитика данных LMS онлайн-платформы позволяет собрать подробную информацию);</li>

98 <li>скорость ответов на вопросы учащихся;</li>

99 <li>скорость проверки домашних заданий;</li>

100 <li>посещаемость вебинаров или просмотр другого учебного контента;</li>

101 <li>CSI - удовлетворённость процессом, содержанием, результатами обучения (оценивается с помощью обратной связи через анкеты и интервью);</li>

102 <li>NPS - лояльность студентов, готовность рекомендовать курс другим;</li>

103 <li>COR - доходимость курса до конца;</li>

104 <li>процент возвратов в случаях, когда студентам не подошёл сам курс, формат обучения или что-то ещё;</li>

105 <li>процент устроенных на стажировку студентов или трудоустроенных выпускников;</li>

106 <li>процент положительных отзывов.</li>

107 </ul>7. Сопровождение обучения.

108 Как распределены роли в сопровождении курса и достаточно ли ресурсов для масштабирования - запуска новых потоков, одновременного обучения нескольких потоков студентов?

109 Методический аудит может обнаружить недостатки, устранить которые довольно просто, но может выявить и ошибки, на исправление которых нужно много времени и других ресурсов. После того как методист озвучит свои рекомендации, заказчик, как правило, принимает решение о судьбе курса. Если выбирается доработка образовательного продукта, заказчик может внести изменения самостоятельно либо снова привлечь методиста. Важно отметить, что работа над улучшением курса - отдельная задача, которую ни в коем случае не стоит смешивать с аудитом.

110 Больше интересного про образование - в нашем <a>телеграм-канале</a>. Подписывайтесь!

111 - Профессия Методист с нуля до PRO

112 - Вы прокачаете навыки в разработке учебных программ для онлайн- и офлайн-курсов. Освоите современные педагогические практики, структурируете опыт и станете более востребованным специалистом.

113 - <a>Узнать подробнее</a>

114 <a>Курс с трудоустройством: "Профессия Методист с нуля до PRO" Узнать о курсе</a>

111 <a>Курс с трудоустройством: "Профессия Методист с нуля до PRO" Узнать о курсе</a>