Что такое аудит онлайн-курса и как его провести методисту
2026-02-21 03:03 Diff
https://skillbox.ru/media/education/chto-takoe-audit-onlaynkursa-i-kak-ego-provesti-metodistu/

#Руководства

  • 4 апр 2022
  • 0

Что такое аудит онлайн-курса и как его провести методисту

Где взять данные, на что обратить внимание и о каких подводных камнях следует знать — рассказывает практикующий методист.

Иллюстрация: stockking / Freepik / Product School / Unsplash / Дима Руденок для Skillbox Media

Методист Skillbox. Специализируется на бизнес-образовании.

Из этой статьи вы узнаете:

Принципы продуктового подхода гласят, что первая версия продукта должна быть разработана в кратчайшие сроки. Это, конечно, распространяется и на сферу образования. Когда курс уже прошли несколько групп, кажется очевидным, что пришла пора проанализировать первые результаты и улучшить программу.

В этом поможет аудит онлайн-курса, то есть комплексный анализ всех его аспектов:

  • методологии,
  • контента,
  • пользовательского опыта,
  • обратной связи от студентов.

Аудит покажет сильные и слабые стороны продукта, поможет выяснить, почему студенты не справляются с учёбой или вообще её бросают, какую реальную пользу приносит им обучение и приносит ли в принципе.

Фото: Tumisu / Pixabay

Простого изучения базового набора метрик, конечно, недостаточно. Оценивать курс нужно поэтапно и системно. Об этом, к сожалению, многие забывают и сразу переходят к точечным изменениям. На деле важно помнить, что сначала мы отвечаем на глобальные вопросы — достижима ли цель курса, работает ли его структура, как смысловые блоки помогают достичь образовательных результатов. И только потом анализируем сам продукт — от манеры подачи материала до практикоориентированности заданий.

Рассмотрим подробнее, что пригодится в процессе аудита и как проанализировать готовый онлайн-курс.

На первый взгляд всё понятно — выгружаем доступные данные, смотрим на отзывы. На деле источников ценных сведений множество, и лучше собрать всю возможную информацию, чтобы составить полную картину происходящего с курсом.

Есть несколько основных метрик, которые помогут провести анализ и оценку курса. Многое здесь зависит от возможностей платформы и школы, но в целом набор стандартный:

  • COR (англ. Completion Rate) — показатель доходимости. Эта метрика демонстрирует, сколько студентов доходит до конца курса и как получается удержать аудиторию.
  • CSI (англ. Customer Satisfaction Index) — индекс удовлетворённости клиентов. Позволяет выяснить, довольны ли пользователи теми или иными аспектами обучения: уроками, заданиями, уровнем обратной связи.
  • NPS (англ. Net Promoter Score) — индекс лояльности клиентов. Его уровень говорит о готовности ученика порекомендовать курс своим друзьям и знакомым.

Конечно, для качественной оценки этих показателей недостаточно. Поэтому уделите внимание и другим важным метрикам. Среди них — посещаемость, время на выполнение и проверку практических заданий (в том числе количество попыток), а также время на прохождение курса.

Даже базовая аналитика способна выявить первые недочёты. Например, вы увидите, какие уроки или модули становятся причиной оттока студентов, вызывают трудности и недопонимание.

Некоторые методисты и продюсеры курсов собирают обратную связь со студентов лишь в конце обучения — и многое упускают из-за этого. Впечатления быстро забываются, поэтому комментарии о подзабытых уроках часто общие, неинформативные. Это риск потерять ценные сведения, поэтому мнения студентов о программе и её отдельных блоках лучше собирать в процессе учёбы.

Вот что понадобится для аудита:

  • Быстрые оценки уроков и модулей на платформе.
  • Отзывы студентов. Лучше всего, если у них есть возможность сразу оставить комментарии, а не только поставить оценку.
  • Анкеты обратной связи. Когда пользователь может рассказать о своих впечатлениях сразу после завершения модуля и урока, шансов получить действительно подробный и информативный отзыв значительно больше. Иногда в процессе учёбы студентам приходят и неплохие идеи для точечных улучшений качества курса. А вот анкета в конце обучения позволит оценить, достиг ли студент заложенной в программе цели.
  • Глубинные интервью со студентами. Важно опрашивать разные группы учащихся: и тех, кто окончил курс, и тех, кто решил прекратить обучение на разных этапах. Тогда вы получите максимум разносторонней информации, сможете выявить причины низкой доходимости и исправить слабые места курса.

Глубинные интервью и анкеты обратной связи особенно хорошо работают для немассовых курсов. Например, в моей практике был синхронный курс, когда удалось поговорить со студентами уже после первого потока и ко второму значительно улучшить материал. На основе только количественных метрик сделать выводы было бы сложно, поскольку оценки были единичными.

Фото: Freepik

К ним относятся все, кто так или иначе взаимодействует со студентами:

  • Куратор курса.

Такой специалист лучше других знает, какие вопросы чаще всего задают студенты, с какими трудностями сталкиваются, как они воспринимают контент и как меняется их мотивация в процессе обучения.

  • Эксперт или проверяющий преподаватель.

Эту роль может выполнять как один специалист, так и целый пул экспертов.

Если курс синхронный, преподаватель может поделиться своими впечатлениями о группе, мотивации и активности учеников. А ещё рассказать о том, как они воспринимают материал и где наблюдаются трудности.

В асинхронном курсе именно проверяющий преподаватель знает, как студенты справляются с домашними заданиями, что вызывает у них основные сложности и вопросы.

  • Отдел продаж.

Сотрудники отдела продаж общаются с потенциальными клиентами и могут дать полезные данные об их потребностях и запросах. Именно они расскажут, почему люди отказываются приобретать курс, что волнует вашу аудиторию и какие критерии играют ключевую роль для принятия решения о покупке.

  • Конкуренты.

Нелишним будет проанализировать продукты других компаний. Возможно, у них появились новые курсы по нужной теме или обновления в уже известных программах. Обратите внимание и на отзывы их студентов — что им нравится, а что они считают недостатками. Такая информация может стать хорошим источником идей для улучшений качества курса.

Аудит — хорошая возможность посмотреть на курс глазами студента. Именно поэтому проводить процедуру должен сторонний методист, который не участвовал в разработке программы. Пройдите курс от начала до конца и оцените свои впечатления — всё ли вам, как учащемуся, было понятно и удобно.

Однако полагаться только на своё восприятие не стоит. Всё же это очень индивидуальная вещь, да и методист, в отличие от студентов, лишь оценивает курс, а не учится на нём всерьёз. Тем более что тема для него может быть неинтересной. Поэтому прохождение курса не всегда поможет отразить реальную картинку, но с точки зрения пользовательского опыта будет в любом случае полезным.

Когда вся необходимая информация собрана, можно приступать к общему анализу. Учитывайте, что данных может быть много, поэтому старайтесь сохранить фокус.

Проверьте, правильно ли её определили на этапе разработки курса и не появились ли новые вводные. Для этого посмотрите результаты интервью и проанализируйте данные от тех, кто уже прошёл курс.

Проблемы могут встретиться самые разные. Например, курс позиционировался как возможность получить профессию с нуля, а на деле уроки подходят только тем, у кого уже есть определённый фундамент знаний. Новички совсем не понимают, о чём идёт речь, поэтому быстро теряют мотивацию и веру в свои силы. Чтобы этого не произошло, надо создать им так называемые пререквизиты — то есть предваряющий мини-курс или отдельные занятия, которые дадут базовые знания для обучения по основной программе. Например, на курс обучения цифровым профессиям (разработчик, тестировщик, аналитик, интернет-маркетолог и так далее) могут записаться люди, у которых нет элементарной цифровой грамотности — конечно, им понадобится вводный курс.

Фото: Freepik

Проверьте, сформулирована ли цель обучения и соответствует ли она критериям измеримости и достижимости. Проанализируйте, смогли ли студенты достичь этой цели и образовательных результатов, меняется ли их поведение, и если да, то как именно.

Хорошо, если для программы составляли карту компетенций — она поможет выяснить, все ли знания, умения и навыки прорабатывают ученики.

Прежде всего, программа должна соотноситься с целями и образовательными результатами. Также важно проверить, насколько логична и понятна её структура — в этом может помочь дорожная карта курса (если она есть).

На этом этапе проанализируйте и контент, причём обращайте внимание и на неочевидные моменты. Например, отражают ли содержание названия модулей и уроков? Когда формулировка неверная, студент рискует просто не понять, что полезного найдёт в том или ином разделе. Если вы не разбираетесь в теме курса, то имеет смысл привлечь к анализу эксперта — он поможет понять, всё ли хорошо.

Вот ещё несколько аспектов, которые помогут оценить содержание курса:

  • Повторы и противоречия. С одной стороны, их быть не должно, ведь это предсказуемо отталкивает пользователей. С другой — не каждый повтор случаен. Поэтому нужно отличать «косяки» от элементов программы, которые специально включены для закрепления материала.
  • Распределение нагрузки. В идеале программа должна быть гармоничной, чтобы студенту не приходилось на одном модуле вкалывать, а на другом совсем расслабиться и ничего не делать. Посмотрите, как пользователи проходят уроки — какие медленнее, какие быстрее. Возможно, есть и те, после которых студенты вообще бросают курс. Каждый такой случай проанализируйте.
  • Соотношение теории и практики. Здесь тоже требуется определённая гармония: если курс состоит из одних упражнений или, наоборот, из голой теории без какой-либо практики, то студенты вряд ли увидят в этом ценность.
  • Наличие кейсов и примеров. Практика показывает, что чем их больше и чем ближе они по содержанию к реальным задачам, тем лучше.

Безусловно, лучше, чтобы в форматах была вариативность, тогда и учиться интереснее, и срабатывает совсем другой механизм запоминания информации. Но выбор того или иного формата в каждом случае должен быть обоснован. Проще говоря, на вопрос «почему здесь именно лонгрид и как он помогает донести знания» у вас должен быть чёткий аргументированный ответ, а не догадки и гипотезы.

Фото: pressfoto / Freepik

Но какой бы ни был формат, важно проверить несколько важных аспектов оформления:

  • «Гигиенический» минимум качества. Посмотрите на контент с технической точки зрения. Например, картинка в видео должна быть качественной, а звук чистым. Текст же должен быть удачно свёрстан без съехавших абзацев и смешения четырёх разных шрифтов. Также обратите внимание на ошибки, опечатки, технические огрехи (не съехал ли где-то абзац или картинка, нет ли грамматических ошибок в субтитрах).
  • Единый стиль. Каждый элемент должен быть оформлен единообразно, чтобы пользователю было комфортнее с ними работать.
  • Работа преподавателя. Оцените, как он взаимодействует с аудиторией, как преподносит материал, даёт ли практические задания.
  • Понятные инструменты. Если в рамках курса нужно использовать нестандартные или незнакомые большинству программы, девайсы и приложения, то проверьте, все ли студенты ими владеют или стоит включить в программу вспомогательный урок (например, сделать скринкаст, ролик, инструкцию).

Всё это кажется очевидным, но на деле не совсем так. Например, в одной из наших программ мы постоянно использовали доску Miro для групповой работы. Но оказалось, что не все студенты уверенно владеют базовыми инструментами этого сервиса — это снижало их мотивацию, вызывало дискомфорт. За два дня мы спроектировали мастер-класс, чтобы показать основные принципы работы цифровой доски. И, по оценкам студентов, их уровень владения сервисом увеличился со среднего показателя 1,9 до 7,3, а в дальнейшем они успешно справлялись со всеми заданиями.

Конечно, здорово, если ещё на этапе проектирования методист сумел предугадать возникающие у студентов вопросы и заранее на них ответить. Например, дал на вводном занятии дорожную карту курса и объяснил его структуру, подготовил чёткие инструкции для практических заданий и предусмотрел систему напоминаний.

Но в реальности так происходит далеко не всегда, поэтому проанализировать среду очень важно. В первую очередь она должна быть безопасной. Что это значит? В программе курса есть вводное занятие и знакомство, а студентам объяснили, как строится обучение и чего от них ждут. Проверьте, достаточно ли этого учащимся — возможно, потребуются какие-то дополнительные инструкции, которые сделают процесс обучения удобнее и проще.

Студентам также должны быть понятны правила взаимодействия с другими учащимися, экспертами и кураторами. Как быстро ученики получают ответы на вопросы, насколько развёрнуто дают обратную связь? Чтобы получить представление об этом, можно почитать чат для студентов и попросить куратора предоставить все комментарии и вопросы, которые ему приходили.

Фото: Trent Erwin / Unsplash

Кроме того, проверьте, насколько удобна для учеников платформа, то есть её интерфейс и технические возможности. Например, большинство ваших студентов смотрят курс со смартфонов, значит, стоит подумать, как сделать мобильную версию ещё удобнее и привлекательнее.

Также обратите внимание на каналы и платформы, которые приходится использовать студентам. Чем ближе вы к омниканальности, когда весь процесс обучения (например, просмотр роликов, место для сдачи практических работ и получения обратной связи) происходит на одной платформе, тем лучше.

Ещё один полезный инструмент, который пригодится в оценке, — путь студента. Его можно составить (или обновить) на основе интервью, опросов и отзывов. Он может дать немало идей для улучшения качества курса.

Тщательно проверьте всё, что связано с практикой:

  • задания — действительно ли они выполнимы, не слишком ли сложные или, наоборот, чересчур лёгкие;
  • инструкции — точно ли они хорошо прописаны и понятны;
  • сложности, с которыми сталкиваются студенты в процессе работы над задачами;
  • тесты — с ними часто возникают проблемы (например, плохо сформулированы вопросы или они слишком простые);
  • соотношение формирующего и итогового оценивания — проверьте, как оценки за практические задания и финальную работу коррелируют друг с другом;
  • обратная связь — какой tone of voice у проверяющего преподавателя, насколько расширенные ответы он даёт.

Получить ответы на эти вопросы поможет аналитика: отзывы, анкеты, интервью и, конечно, метрики. Например, проанализируйте, сколько времени и итераций занимают у студентов практические занятия, как долго их проверяют преподаватели и кураторы.

Почему это важно? Приведу в пример курс из моей практики. Время его прохождения должно было занимать два месяца. Когда первый поток учащихся завершил обучение, выяснилось, что первый модуль студенты прошли за семь дней, как планировалось. А вот на следующие у них уходило от двух до трёх недель, то есть в два-три раза больше, чем предполагали создатели программы. С домашними заданиями тоже было непросто — в некоторых модулях количество итераций доходило до четырёх. Мы предположили, что именно в заданиях и заключалась проблема, поскольку выполнение практических работ было для студентов обязательным условием.

Мы полностью переработали задания: создали новые, понятные описания, подготовили шаблоны, чтобы побороть страх студентов перед «чистым листом». Организовали эту практику так, чтобы последовательно приближать учащихся к разработке финальной работы — тогда становится понятна ценность промежуточных домашних заданий и есть стимул постараться, чтобы верно сделать с первого раза.

Отдельно провели брифинг с проверяющим преподавателем и договорились, что он будет давать подробную обратную связь и направлять студентов в поисках верного решения. Это должно было сократить количество попыток выполнить задания.

В результате и время прохождения модулей сократилось (в среднем от семи до 12 дней), и количество итераций сдачи домашних заданий снизилось (в среднем до 2,35).

Полезно оценить не только методическую составляющую, но и маркетинговую стратегию: как продаётся курс, о чём спрашивают клиенты, что приводит их к положительному решению о покупке или отказу от неё.

Конечно, анализ таких данных не входит в обязанности методиста, да и точной оценки от вас никто не ждёт. Но можно просто пообщаться с коллегами из отдела продаж, чтобы лучше понять запрос целевой аудитории.

Они подскажут, что ищут клиенты и точно ли рекламное предложение отражает все особенности курса.

Заведите бэклог, где будут обозначены недочёты, идеи по их исправлению, предполагаемые улучшения. Скорее всего, список будет длинным, но не стоит пытаться охватить всё и сразу. Изменения нужно вводить поэтапно и системно.

Для начала стоит расставить приоритеты:

  • Выберите ключевую проблему, которую хотите решить сейчас, и сформулируйте целевой результат.
  • Определите, какие улучшения помогут эту проблему решить.
  • Оцените, какие из них можно внедрить быстро и недорого, как они повлияют на достижение результата.

Главное, чтобы это не превратилось в латание дыр — поэтому проблемы стоит выбирать существенные. Например, если заменить только отдельные уроки, где были очевидные недостатки, а неудачную в целом структуру программы оставить на потом или вообще не трогать, то результаты вряд ли порадуют. Студенты продолжат «сливаться» с курса, не обращая внимания на изменения.

Именно поэтому и стоит собрать всю возможную информацию, тщательно расставить приоритеты и проверить гипотезы — только тогда курс будет действительно улучшен.

Научитесь: Профессия Методист с нуля до PRO + ИИ Узнать больше