Какими могут быть единые стандарты оценки качества онлайн-курсов: результаты исследования
2026-02-21 13:39 Diff
https://skillbox.ru/media/edtech/kakimi-mogut-byt-edinye-standarty-otsenki-kachestva-onlaynkursov-rezultaty-issledovaniya/

#статьи

  • 24 апр 2024
  • 0

Какими могут быть единые стандарты оценки качества онлайн-курсов: результаты исследования

Специалисты Института образования НИУ ВШЭ и Skillbox провели это исследование для того, чтобы создать новую модель оценки образовательных продуктов.

Иллюстрация: Оля Ежак для Skillbox Media

Автор статей и новостей об образовании и EdTech. Магистр в области международных отношений. Интересуется сферой образования, изучением иностранных языков и с удовольствием путешествует.

Последние три года ключевой темой для всего рынка онлайн-образования стал поиск универсальных подходов к оценке качества курсов. Эксперты связывают этот процесс с переходом молодого EdTech-рынка к стадии зрелости. В прошлом году тема качества онлайн-обучения ещё больше актуализировалась в связи с усиленным вниманием со стороны государственного регулятора к сфере инфобизнеса и трудностями с определением границ между инфобизнесом и образовательным рынком.

Кажется, тема поиска способов оценки качества онлайн-обучения, наконец, перешла от разговоров к практическим действиям: 3 апреля на Московском международном салоне образования (ММСО) были представлены результаты исследования существующих практик и подходов к оценке образовательных продуктов. Это часть большой совместной работы исследователей Института образования НИУ ВШЭ и продуктово-методической команды Skillbox по созданию новой модели оценки качества онлайн-образования.

Результаты первой части этого проекта — исследовательской — на ММСО представили ведущий эксперт Лаборатории цифровой трансформации образования Института образования НИУ ВШЭ Кирилл Савицкий и руководитель методического отдела Skillbox Марина Харахордина. Там же состоялось обсуждение первых результатов.

Первые подходы к оценке цифровых образовательных продуктов появились в 1990-е годы (например, модель Дугласа Меррила 1995 года), но они давно устарели, поскольку с тех пор сильно изменились и сами технологии, и их роль в обучении — технологии перестали быть всего лишь способом доставки информации учащимся. Более поздние модели оценивания учитывают такие критерии, как:

  • простоту доступа, использования и обновления;
  • дизайн (UX и UI);
  • возможность предоставлять учащимся обратную связь;
  • профессиональное развитие педагога;
  • удовлетворённость студента и педагога;
  • обеспечение мотивации студента и возможности самообразования;
  • время включения в учебный процесс.

Исследователи изучили и обобщили 22 стандарта и модели оценки качества образовательных технологий и продуктов, представленные на мировом рынке. Некоторые разработаны в вузах, другие — в ассоциациях образовательных организаций, одни действуют на уровне отдельного университета, другие — на уровне объединения нескольких организаций, третьи — на национальном и даже международном уровне. Среди этих стандартов и моделей есть, например, такие (в отчёте об исследовании можно прочитать краткое описание их сути):

  • Система стандартов iNACOL, разработанная в 2011 году в США для оценки качества онлайн-курсов и преподавания в онлайн-среде.
  • Совокупность стандартов Quality Matters — разработана тоже в США коллективом вузов и очень популярна во многих штатах. Она может использоваться на разных уровнях образования и сфокусирована в первую очередь на обеспечении качества разработки онлайн-продукта.
  • Модель TELAS, разработанная Австралазийским обществом по использованию компьютеров в системе высшего образования совместно с преподавателями вузов — для оценки и аккредитации онлайн-обучения в секторе высшего образования.
  • Система показателей качества для администрирования онлайн-программ OLC (Online Learning Consortium, то есть Консорциума онлайн-обучения), тоже разработана в США. Она ориентирована на использование как в образовательной, так и в продуктово-управленческой деятельности.
  • USDLA — стандарты, разработанные американской Ассоциацией дистанционного образования.
  • Международная система сертификации онлайн-курсов EOCCS. Её разработали в EFMD — некоммерческой международной ассоциации по развитию менеджмента, которая является признанным во всём мире органом по аккредитации бизнес-школ, их программ, а также корпоративных университетов.
  • Система оценивания Blackboard Exemplary Course Program от Anthology — объединения четырёх глобальных компаний в области образовательных технологий: Blackboard, Campus Management, Campus Labs и iModules.
  • Модель «5 столпов качества Sloan-C». Она разработана в Sloan-C — консорциуме вузов, предлагающих онлайн-программы и специализирующихся на изучении и повышении качества образования.
  • Открытая модель оценки качества курсов OSCQR. Разработана государственным университетом Нью-Йорка SUNY Online и благодаря партнёрству с Консорциумом онлайн-обучения стала базовым инструментом оценки качества курсов.
  • Система оценки эффективности обучения на онлайн-курсах, разработанная в одном из государственных университетов Гонконга.
  • Инструмент A Quality Review for Online Courses («Обзор качества онлайн-курсов»), разработанный в Канаде.

Авторы исследования отмечают, что в зависимости от конкретного применяемого инструмента оценка качества может фокусироваться на дизайне курсов, целях обучения, учебных материалах, технологиях и других аспектах.

Кирилл Прудников (руководитель программ педагогических практик Skillbox, модератор дискуссии), Марина Харахордина, Дарья Рыжкова, Людмила Кевдина, Кирилл Савицкий, Никита Подлипский
Фото: Московский международный салон образования

Кроме того, если некоторые модели и стандарты оценивают качество при разработке продукта, то другие — на протяжении всего жизненного цикла (например, для этого предназначена модель, предложенная Моной Тернус и Дебби Фолк, а также модель, разработанная Вэйюань Чжан и Ю Лин Чен).

Авторы исследования обнаружили много общего у разных моделей и систем оценивания, но есть и различия:

  • Рассмотренные методы предлагают разные рамки оценивания и различные уровни индикаторов. На первом месте по распространённости — критерии управления, на втором — практики обучения, на третьем — поддержка преподавателей и студентов, на четвёртом — использование технологий и оценивание. А в качестве результата обучения на онлайн-курсе чаще всего рассматривают удовлетворённость студентов и преподавателей, но не объективные результаты обучения.
Скриншот: Институт образования ВШЭ / Skillbox
  • У разных моделей могут сильно различаться цели разработки, адаптации и использования рамок оценивания качества онлайн-курсов.
  • Инструменты оценивания, которые применяются в пределах одного вуза, позволяют систематизировать лучшие практики в разработке и реализации курсов и включить их в методические рекомендации для преподавателей. Но в то же время инструменты, разработанные с учётом потребностей конкретного вуза, зачастую нельзя использовать в других образовательных контекстах.
  • Самый популярный инструмент оценивания на национальном уровне — совокупность стандартов Quality Matters.

Как отмечают авторы работы, развитие информационных технологий и повышение их доступности привело к тому, что в сфере образования появилось множество EdTech-проектов, созданных без участия государства или традиционных образовательных организаций. При этом наблюдается несколько проблем, касающихся качества образовательного продукта, то есть онлайн-курсов:

  • Нет единого подхода к тому, что следует включать в понятие качества. Его можно оценивать по-разному в различных образовательных контекстах — и на практике в разных компаниях качество действительно оценивают по-своему.
  • Частные образовательные проекты редко проводят исследования для выбора оптимального с точки зрения качества решения.
  • Если исследования и проводят, то, как правило, сосредотачиваются на данных о вовлечённости и обратной связи от пользователей. При этом половина компаний использует для анализа исключительно внутренние источники данных, что не очень объективно. И мало кто исследует эффективность продуктов в контексте измерения образовательных результатов.

В рамках дискуссии на площадке ММСО ведущий эксперт Лаборатории цифровой трансформации образования Института образования НИУ ВШЭ Кирилл Савицкий отметил: 51% компаний утверждают, что у них есть данные, подтверждающие эффективность их образовательных продуктов. При этом на самом деле всего 7% могут реально доказать это и представить объективные данные, действительно подтверждающие результаты, о которых заявляют.

Людмила Кевдина, Кирилл Савицкий, Никита Подлипский
Фото: Московский международный салон образования

В таких условиях отсутствия единых стандартов качества трудно гарантировать корректное использование технологий, образовательный результат и другие параметры продукта, считают авторы исследования. А если бы существовали общепринятые рамки и механизмы оценивания цифровых образовательных продуктов, то:

  • это помогло бы гарантировать достоверность результатов исследований продуктов;
  • пользователям было бы проще выбирать качественные образовательные продукты;
  • сами компании, разрабатывающие образовательные продукты, не несли бы репутационные риски.

Участники российского EdTech-рынка неоднократно пытались объединиться как раз для того, чтобы разработать единые стандарты качества. Очередным шагом к этому стало создание Российской ассоциации цифровых инноваций в образовании (РАЦИО). Анализ лучших мировых практик по оценке качества цифровых образовательных продуктов, который провели специалисты Института образования ВШЭ и Skillbox, может стать теоретической базой для разработки таких стандартов.

При этом авторы исследования считают, что при разработке модели оценивания важно учитывать не только качество образовательного инструмента и сопутствующего ему контекста, но и качество образовательного опыта, который получают учащиеся. Помимо этого, нужно проработать актуальную систему критериев оценки качества продукта на разных этапах его жизненного цикла, а не только на стадии его создания.

В ходе дискуссии, состоявшейся на ММСО, эксперты подробнее обсудили причины, побуждающие рынок выработать единые стандарты оценки цифровых образовательных продуктов, и трудности, которые осложняют этот процесс.

Так, Людмила Кевдина, руководитель блока «Качество» в РАЦИО и директор по внешним коммуникациям в Maximum Education, отметила, что EdTech-рынок находится в такой стадии, когда количество онлайн-школ постоянно увеличивается. Эти школы совершенно разные — и по размеру, и по характеру предлагаемых продуктов. Из-за большого разнообразия пользователю очень сложно выбрать то, что ему подходит. Непонимание, как выбирать, приводит к недовольству результатом, а это, в свою очередь, может приводить к конфликтным ситуациям в информационном поле:

«Мы с вами были свидетелями таких историй в прошлом году. И когда это вырывается в информационный план, естественно, регулятор на это начинает смотреть. И поэтому, наверное, самый правильный момент сейчас для всех нас <…> выработать модель критериев, чтобы прежде всего нашему клиенту было понятно, а как вообще оценивать, как выбирать [продукты]. И это должно быть прозрачно для всех участников образовательного процесса и образовательной системы», — подчеркнула она.

Людмила также отметила, что сейчас не только РАЦИО, но и другие участники рынка пытаются создать подход к оценке качества образовательных продуктов. По её мнению, это хорошо — если будет создано несколько разных подходов, то можно будет их сравнить и в результате сделать одну модель для всех.

Кирилл Савицкий, в свою очередь, пояснил, в чём проблема того, что EdTech-компании сейчас пользуются слишком большим количеством разных метрик для оценки качества образовательных продуктов:

«Когда у нас куча данных, и аналитику с удовольствием изучили гуманитарии, они понимают, что их все надо как-нибудь посчитать. <…> У них возникает 90–100 показателей, каждый из которых они хотят положить в модель [оценки]. А дальше возникает вопрос для тех, у кого техническое образование или физико-математическое: если у вас 90 показателей, первый показатель имеет значимость 40 процентов, второй — 30 процентов, третий — 20 процентов, то сколько остаётся на оставшиеся 87? И нужно ли их учитывать​?»

В развитие этой темы руководитель методического отдела Skillbox Марина Харахордина напомнила, что EdTech-компании постоянно пытаются понять, какие критерии нужны для оценки качества курсов. Например, несколько лет назад Высшая школа экономики разработала инструмент для оценки того, как выпускники достигли своих целей. И многие крупные игроки рынка им воспользовались, а затем обсудили, единственный ли это инструмент, с помощью которого можно оценивать качество. И, конечно, оказалось, что не единственный.

Марина Харахордина, Дарья Рыжкова, Людмила Кевдина
Фото: Московский международный салон образования

«Если мы теперь умеем с помощью такого исследования изучать, как выпускники достигают своих целей, нам, наверное, ещё важно понять: когда они проходят наши образовательные продукты, они в конце как-то меняют своё поведение? Можем ли мы наблюдать, что в них изменилось или не изменилось? Это какая-то другая часть, на которую мы должны обращать внимание. Там требуются свои инструменты», — пояснила она.

Кроме того, по словам Марины, компании считают необходимым отслеживать уровень удовлетворённости студентов обучением, которое они прошли. И сам процесс обучения тоже нужно оценивать — это позволит выстраивать его так, чтобы он приводил к результатам. Именно из-за наличия множества важных факторов нужен комплексный фреймворк для них.

Дарья Рыжкова, основательница агентства Smart Ranking, которое регулярно составляет рейтинг EdTech-компаний по размеру выручки, рассказала о любопытном исследовании. Её агентство некоторое время назад опрашивало участников EdTech-рынка о том, что они считают качественным обучением, какие метрики используют и как их измеряют.

Идея, по словам Дарьи, заключалась в том, чтобы, собрав эти метрики, вывести некий интегральный показатель. Но вывести его не удалось, потому что, как выяснилось, по мнению представителей рынка, качество нужно оценивать, в частности, по тому, довольны ли результатами сами выпускники. А поскольку агентство не проводило опросы выпускников курсов, проверить этот критерий тогда не представлялось возможным.

Кирилл Прудников, Марина Харахордина, Дарья Рыжкова
Фото: Московский международный салон образования

Сейчас Smart Ranking совместно с мессенджером «Пачка» проводит новое исследование, в рамках которого игроков индустрии снова опрашивали о том, какие метрики они считают важными для оценки качества. По словам Дарьи, опрос показал, что за время, прошедшее после попытки первого исследования, система метрик ещё больше усложнилась: если раньше все считали довольно стандартные показатели, то теперь «у каждого есть какой-то свой подход и своя методология».

«И ещё интересно отметить, что все, кажется, действительно заинтересованы в единой методике и всем интересно сравнивать себя с другими. <…> Поэтому мы считаем, что эта работа [создание единого подхода] будет ориентиром как для всего рынка, так и для клиентов онлайн-школ», — заключила она.

Никита Подлипский, управляющий директор Ultimate Education в целом согласился с тем, что на рынке должна быть единая методология измерения качества с конкретными критериями, но в очередной раз высказался и о сложностях, связанных с выработкой такой универсальной модели. Если взять, например, доходимость, то в одной онлайн-школе она может быть на уровне 90%, а в другой — 25%. Но это не значит, что во второй школе некачественное обучение — просто в некоторых случаях студенту не так важно дойти до конца и получить диплом, потому что не в каждой профессии его наличие является обязательным условием для работы. Поэтому пытаться «выровнять единую температуру по больнице» рискованно, подчеркнул он.

Итак, конечная цель всего большого проекта, в рамках которого исследователи изучили подходы к оценке образовательных продуктов, — в разработке стандарта качества онлайн-курсов для российской EdTech-индустрии. Модель планируется сформулировать до конца 2024 года. Предполагается, что это будет многокомпонентная модель с основными показателями для оценки качества образовательного продукта. Для каждого показателя будут сформулированы критерии оценки. А для валидации этой модели планируется привлечь ведущих экспертов российского рынка онлайн-образования. После этого её протестируют и презентуют. Модель будет состоять из четырёх основных блоков: организация бизнес-процессов, разработка продукта, реализация продукта и его рыночная позиция. В каждом из блоков будет свой перечень критериев.

Ожидается, что этот подход позволит пользователям выбирать те программы, которые наиболее точно отражают их запрос, а создателям курсов — разрабатывать актуальные программы, удовлетворяющие запросы студентов.

Благодаря разработке этого стандарта качества, как отметила на дискуссии Марина Харахордина, может появиться навигатор онлайн-курсов, — то есть онлайн-площадка, где пользователи смогут по понятным критериям подбирать себе курсы, а те, кто их разрабатывает, — учитывать выработанные критерии при создании образовательных продуктов.

Научитесь: Продюсер онлайн-курсов с нуля до PRO Узнать больше