Как оценить эффективность онлайн-курса
2026-02-21 14:37 Diff
https://skillbox.ru/media/education/kak-otsenit-effektivnost-onlaynkursa/

#Руководства

  • 24 авг 2021
  • 0

Как оценить эффективность онлайн-курса

Рассказываем о важных метриках и частых ошибках, а также о том, для чего нужен методический аудит и как его провести.

Онлайн-журнал для тех, кто работает или хочет работать в сфере образования. Рассказываем о трендах, теории и полезных практиках.

Директор по продукту, преподаватель и ментор в EdMarket. Ментор акселератора «Нетологии». Автор курса «eLearning: от стратегии внедрения до разработки контента и оценки эффективности», книги «Архитектура корпоративного онлайн-обучения» и Telegram-канала «PRO онлайн-обучение».

Разработчики онлайн-курсов стремятся к тому, чтобы обучение было полезным и увлекательным. Как понять, что желаемый результат достигнут? Это не всегда очевидно, и без конкретных метрик невозможно принять взвешенное решение, стоит ли оставить всё как есть, поработать над улучшением курса или вообще закрыть его и не тратить ресурсы понапрасну. Причём часто от ответа на этот вопрос зависит судьба не только одного курса, но и целой линейки продуктов.

Получается, что без оценки эффективности не обойтись. Расскажем, что она в себя включает, какие метрики можно оценить и каких ошибок следует избегать.

Для оценки эффективности необходимо провести несколько важных действий:

  • Оценить результаты обучения студентов (показатели до и после прохождения курса, результаты выполнения промежуточных и финальных заданий).
  • Подсчитать метрики конкретного набора (промежуточные и финальные CSI и COR, финальный NPS).
  • Собрать обратную связь по результатам обучения от учащихся, преподавателей, аудиторов, коллег-методистов.

В зависимости от того, что показали метрики, надо принять решение о дальнейшей судьбе курса (оставить как есть, убрать, поменять формат, содержание, периодичность наборов и так далее). Если решено доработать курс, то составить план изменений можно на основе собранной обратной связи.

Перед тем как говорить о метриках качества образовательного продукта, стоит определиться, с какой позиции мы смотрим на курс, потому что студент, методист и организатор обучения могут оценивать его успешность по-разному.

 С точки зрения студента курс полезен, когда позволяет достичь цели, ради которой он был приобретён. Обычно эта цель находится за границами обучения: например, получить повышение или сменить профессию.

 С точки зрения методиста курс успешен, когда после обучения произошли изменения установок и поведения человека, которые можно измерить. Например, после прохождения курса по программе Excel сотрудники стали тратить на операции с формулами на 30% меньше времени.

 С точки зрения организатора обучения образовательный продукт эффективен, когда ресурсы, которые вложены в его создание и сопровождение, соразмерны выгоде, полученной в результате.

Когда речь идёт о корпоративном обучении, желаемые результаты для методиста и организатора обучения совпадают: заказчик (например, руководитель компании) заинтересован в том, чтобы сотрудники после прохождения курса или тренинга стали работать эффективнее и чтобы затраты на обучение были экономически оправданы.

Допустим, мы определились, с чьей точки зрения будем измерять успешность образовательного продукта. Посмотрим, что можно измерить.

  • Достижение промежуточных и финальных учебных целей: студенты выполнили домашние задания, сдали тест, подготовили дипломную работу.
  • Динамика посещения занятий или просмотра вебинаров на онлайн-курсе.
  • Динамика и скорость выполнения домашних заданий — интенсивность, с которой учатся ваши студенты.
  • Скорость и качество проверки домашних заданий. Качество обратной связи.
  • Качество учебного контента — как основного, так и дополнительного. Для его оценки можно ориентироваться на лайки/дизлайки студентов (если ваша LMS поддерживает такую функцию), просить заполнить анкеты для обратной связи, ввести собственные стандарты качества.
  • Достижение финальной цели учащегося или заказчика, которая находится за границами обучения. Например, люди покупают курс, чтобы получить соответствующую профессию и в дальнейшем трудоустроиться. Значит, здесь нам нужно измерить процент трудоустроенных после завершения обучения студентов.
Фото: Monkey Business Images / Shutterstock
  • Удовлетворённость студентов (CSI) занятиями, контентом, сопровождением, преподавателями. Можно измерять удовлетворённость курсом в целом, но полезнее запрашивать оценку по отдельным компонентам: направлениям, преподавателям, теоретическому материалу и домашним заданиям, сопровождению обучения. CSI обычно оценивается по шкале от 1 до 6, иногда от 1 до 5 или от 1 до 10.
  • Вовлечённость и активность студентов (оценивается общение в чатах, обратная связь).
  • Лояльность выпускников (NPS). После завершения обучения нужно задать студентам вопрос, насколько они готовы рекомендовать курс — по шкале от 1 до 10 (иногда используется шкала от 0 до 10). Полезно также спросить, почему оценка именно такая.
  • Доходимость до финала обучения (COR). При измерении важно опираться на стандарты, принятые в вашей компании. Например, в EdMarket считается, что студент прошёл обучение, если он выполнил 70% домашних работ и дипломный проект.
  • Процент возвратов, то есть случаев, когда студентам курс не подошёл. Если он высокий, то это повод ещё раз проанализировать информацию о вашей целевой аудитории и подумать, почему человек попал на неподходящий курс, какие ещё факторы могли способствовать отказу от обучения, что можно сделать, чтобы улучшить ситуацию.
  • «Инсайтометр» — количество инсайтов, подтолкнувших студентов к действию. Мы у себя ещё не полностью продумали, каким образом измерить этот показатель. Однако в каждой дипломной работе мы предлагаем студентам поделиться своими выводами, впечатлениями от обучения, планами на будущее. Это помогает выпускнику построить дальнейшую образовательную траекторию, а нам — понять, с какими знаниями, навыками и стремлениями студенты завершают обучение на определённом курсе.

Отдельно стоит поговорить о метриках эффективности корпоративного обучения. Для этого рекомендуем использовать модель Киркпатрика — Филлипса:

  • Реакция. Как участники реагируют на обучающее мероприятие или другой образовательный продукт? Здесь снова оцениваются показатели CSI и NPS.
  • Знания и навыки. Получили ли участники желаемые знания и навыки? Тут используется метрика COR, а также оценки студентов за домашние и контрольные работы.
  • Изменение поведения. Применяют ли сотрудники полученные знания и навыки на рабочем месте? Это оценивается по KPI персонала, внутренним рейтингам и так далее.
  • Влияние на бизнес-результаты. Повлияло ли обучение на достижение целей компании? Анализируется KPI подразделения или бизнес-процесса.
  • Возврат от инвестиций в обучение — ROI, аббревиатура от английского термина Return on Investment. Измеряется окупаемость вложений в образовательное мероприятие или продукт.

Множество инструментов для сбора данных и анализа метрик входят в базовую функциональность LMS-платформ. Для оценки CSI, NPS и других показателей, которые требуют обратной связи, можно использовать «Google Формы», Mentimeter и другие анкетные сервисы, помогающие оценить впечатления от курса или отследить реакцию на тот или иной его элемент.

Есть два наиболее типичных упущения, на которых мн��гие спотыкаются:

  • Обратную связь запрашивают только в конце обучения. Если вы не запросите обратную связь в начале и середине курса, то не узнаете реакцию тех людей, которые по каким-либо причинам сошли с дистанции. А это очень полезная информация: если вы поймёте, что именно в курсе не понравилось учащимся, то сможете это исправить.
  • Проверку домашних заданий поручают автору курса. Из-за занятости эксперта студентам порой приходится долго ждать обратной связи по домашним заданиям. В таком случае лучше поручить проверку куратору или тьютору — хотя бы частично. Полезно организовать чат, где студенты будут оперативно получать ответы на свои вопросы. Это позитивно скажется на показателе удовлетворённости обучающихся.

Существует очень много курсов, которые были разработаны без понимания специфики онлайн-обучения и знания методик педдизайна. Их создатели, разумеется, хотят улучшать показатели эффективности, но как это сделать — не всегда очевидно. Многие обращаются за услугой методического аудита. Это задача на стыке методологии, маркетинга и бизнеса, интересов студента и организатора обучения.

Фото: Stock-Asso / Shutterstock

Чтобы качественно провести аудит курса, методист должен обладать профессиональным опытом и насмотренностью, которую лучше всего развивать под руководством наставника. Также очень важно заранее прояснить вводные данные, иначе методист может сфокусироваться на теориях обучения и проектирования онлайн-курсов, тогда как заказчик мыслит совершенно в других категориях. Среди целей заказчика могут быть, например, такие:

  • повысить COR, CSI, NPS;
  • увеличить LTV (Lifetime Value) — общую прибыль, получаемую от клиента в ходе его взаимодействия с продуктом;
  • расширить линейку продуктов;
  • привлечь больше студентов;
  • получить больше положительных отзывов;
  • снизить количество негативных отзывов;
  • понять, почему люди не проходят курс до конца;
  • выяснить, почему в работе сотрудников нет видимых результатов после обучения на курсе.

Допустим, вы хотите самостоятельно провести аудит своего курса либо к вам обратились с такой просьбой в отношении чужого курса. Мы составили чек-лист из вопросов, которые помогут провести проверку, и конкретных данных, которые нужно собрать для оценки. Они структурированы по семи блокам — фактически по ним и проводят оценку курса.

1. Понимание целевой аудитории курса организаторами обучения.

Посмотрите анкеты участников курса, результаты кастдева, изучите собранную от выпускников обратную связь. Это покажет, насколько чётко курс ведёт к нужным результатам конкретную целевую аудиторию с определёнными знаниями, навыками и возможностями учиться.

2. Методическая концепция курса и логики обучения.

  • Описаны ли финальные и промежуточные цели обучения?
  • Как выстроена логика обучения и понятна ли она?
  • На какие темы и подтемы делится учебная программа и почему именно так?
  • Какой смысл заложен в заголовках и хорошо ли они сформулированы?
  • Какова общая длительность обучения и почему она именно такая?
  • Равномерно ли распределена учебная нагрузка, есть ли перерывы?

3. Образовательная среда курса.

  • Есть ли у учащегося возможность взаимодействовать с другими студентами, преподавателями?
  • Предусмотрено ли вводное занятие?
  • Даются ли учащимся рекомендации о том, как эффективно учиться и работать с внутренней мотивацией?
  • Ясно ли, кому и когда можно задавать вопросы?
  • Удобен ли интерфейс выбранной платформы, понятно ли структурирован курс со всеми его элементами и средствами коммуникаций, всё ли работает (например, видео, ссылки, интерактивные элементы)?
  • Понятно ли, как получать обучающий контент, выполнять и сдавать практические задания, куда приходит обратная связь от проверяющего?
  • Есть ли у самого студента возможность оставить обратную связь и как с ней работают организаторы обучения?
  • Можно ли упростить образовательную среду?
  • Доступно ли обучение на мобильных устройствах и удобно ли проходить курс в таком виде?

4. Качество образовательного контента.

  • Какой формат учебных материалов выбран и почему?
  • Насколько удобно воспринимать информацию? Тут оценивается шрифт, контрастность и так далее.
  • Используется ли общий стиль или шаблон для представления контента?
  • Каков объём основной теоретической части и дополнительных материалов, почему именно такой?
  • Есть ли у занятий единая структура и если да, то что она в себя включает?
  • Приводятся ли реальные кейсы?
  • Рекомендуется ли дополнительная литература?
  • Что мы знаем о реакции учащихся на контент курса?
  • Что мы знаем о реакции студентов на преподавателей и подачу материала?
  • Насколько качественно преподаватель доносит содержание курса в выбранном формате (оценивается речь, стиль общения, качество презентационного материала, звука и видео) и как взаимодействует с учащимися?
  • Можно ли сократить объём теории и самостоятельного обучения, чтобы при этом не пострадала практика?
  • Понятно ли студентам, какой материал надо изучить обязательно, а какой — по желанию?
  • Нет ли ошибок и опечаток в текстах курса?

5. Качество практических занятий.

  • Какие способы оценки полученных знаний выбраны (промежуточные и финальные)?
  • Какова интенсивность выполнения практических заданий и справляются ли с этим студенты?
  • Достаточно ли теоретического контента для выполнения заданий?
  • Как структурированы домашние задания и инструкции к выполнению практики?
  • Каков формат обратной связи?
  • Что мы знаем о реакции учащихся на практику?
  • Насколько практические задания соответствуют реальным задачам, с которыми затем столкнётся студент?
  • Понятна ли учащемуся система оценивания выполненных заданий?

6. Данные, полученные во время обучения предыдущих потоков.

  • выполнение промежуточных и финальных домашних заданий, спроектированных на основе учебных целей (хорошо, если аналитика данных LMS онлайн-платформы позволяет собрать подробную информацию);
  • скорость ответов на вопросы учащихся;
  • скорость проверки домашних заданий;
  • посещаемость вебинаров или просмотр другого учебного контента;
  • CSI — удовлетворённость процессом, содержанием, результатами обучения (оценивается с помощью обратной связи через анкеты и интервью);
  • NPS — лояльность студентов, готовность рекомендовать курс другим;
  • COR — доходимость курса до конца;
  • процент возвратов в случаях, когда студентам не подошёл сам курс, формат обучения или что-то ещё;
  • процент устроенных на стажировку студентов или трудоустроенных выпускников;
  • процент положительных отзывов.

7. Сопровождение обучения.

Как распределены роли в сопровождении курса и достаточно ли ресурсов для масштабирования — запуска новых потоков, одновременного обучения нескольких потоков студентов?

Методический аудит может обнаружить недостатки, устранить которые довольно просто, но может выявить и ошибки, на исправление которых нужно много времени и других ресурсов. После того как методист озвучит свои рекомендации, заказчик, как правило, принимает решение о судьбе курса. Если выбирается доработка образовательного продукта, заказчик может внести изменения самостоятельно либо снова привлечь методиста. Важно отметить, что работа над улучшением курса — отдельная задача, которую ни в коем случае не стоит смешивать с аудитом.

Больше интересного про образование — в нашем телеграм-канале. Подписывайтесь!

Курс с трудоустройством: «Профессия Методист с нуля до PRO» Узнать о курсе