Как измерять качество образовательного опыта в EdTech. И зачем это делать
2026-02-21 22:12 Diff
https://skillbox.ru/media/education/kak-izmeryat-kachestvo-obrazovatelnogo-opyta-v-edtech/

#статьи

  • 3 дек 2021
  • 0

Участники рынка онлайн-образования обсудили, можно ли измерить «побочные эффекты» от обучения и есть ли вообще смысл в подобных метриках.

Иллюстрация: Max Reddem / WikiMedia / Alexander MqRoden / Pexels / Colowgee для Skillbox Media

Редактор направления «Образование» Skillbox Media.

Этой осенью инициативная группа, состоящая из EdTech-хаба «Сколково», университета Skypro, исследовательского агентства Smart Ranking и аналитической компании EdYes, предложила лидерам рынка онлайн-образования создать так называемый кодекс отрасли. Под ним подразумеваются чёткие критерии оценки качества ДПО, которые помогут обеспечивать студентам высокие образовательные результаты и востребованность у работодателей.

В начале октября в «Сколково» прошли конференция и открытый воркшоп «Критерии оценки качества дополнительного профессионального онлайн-образования», на которых участники выделили 12 метрик качества дополнительного образования в формате онлайн.

12 предложенных к обсуждению метрик качества онлайн-образования:

  • реферальность, готовность рекомендовать курс;
  • оценка удовлетворённости различными аспектами обучения;
  • transformation rate/success rate ― достиг ли выпускник цели обучения;
  • COR, доля удержания слушателей, доходимость;
  • уровень доверия работодателя конкретной школе-курсу;
  • ROI студента (насколько быстро он окупит своё обучение);
  • актуальность контента курса;
  • взаимодействие школы с работодателями, трудоустройство;
  • рост зарплаты студента в динамике;
  • процент посещаемости в моменте;
  • наличие у курса безопасного пространства, экологичность в плане коммуникации;
  • наличие поддерживающей среды, интеграция в сообщество профессионалов, выпускников.

В продолжение этой дискуссии, School of Education пригласила экспертов из сферы EdTech на обсуждение не самого очевидного аспекта темы качества образования. Как правило, обычно речь идёт о результатах обучения, то есть, если говорить о ДПО, о получении профессии или повышении квалификации. Здесь же участники дискуссии сфокусировались на дополнительных эффектах образования: получил ли человек инсайты, напрямую не связанные с программой обучения, насколько комфортно он чувствовал себя во время прохождения курса, сформировалось ли среди студентов активное сообщество.

Очевидно, что измерить эти показатели — непростая задача. А стоит ли вообще к этому стремиться, и если да, то зачем? Предлагаем ознакомиться с мнениями экспертов. Полная запись дискуссии «Метрики качества образовательного опыта, а не результата: надо ли оценивать и как?» доступна на YouTube.

Декан School of Education и модератор дискуссии Ася Фурсова предложила для начала определить, что именно входит в образовательный опыт студента и какие его составляющие влияют на оценку качества обучения. Спикеры назвали несколько ключевых аспектов.

Михаил Свердлов, директор по развитию бизнеса Skypro, начал с тезиса о том, что люди вообще очень редко формулируют для себя желаемый образовательный результат. Он привёл данные внутренней статистики группы компаний Skyeng, которые показали, что существенная часть взрослых студентов не имеет чёткого понимания, зачем они идут учить, например, английский:

«Только 20% наших учеников в Skyeng могут сформулировать, зачем они идут [учиться], ещё 60% очень ведомы с точки зрения вопросов: „Может быть, вам для работы, для учёбы, ещё для чего-то?“ Они такие: „Да, конечно, и Netflix смотреть на английском“. На самом деле мы прекрасно знаем, кто потом смотрит этот Netflix на английском. Ещё у 20% разговор с методистом вводного урока заканчивается так: „Слушайте, можно мы просто деньги заплатим и пойдём учиться, потом разберёмся“».

По словам Михаила, безусловно, есть люди, которые ставят перед собой конкретную цель — выучить английский для эмиграции или повысить квалификацию после потери работы. Но это скорее редкость. И здесь, считает спикер, очень важно обратить внимание, насколько осознанно человек принимает решение, выбирая образовательный продукт. В этом может помочь такой параметр, как отток студентов (или процент возвратов), отражающий количество людей, которые поняли, что выбрали не то, что им нужно, и ушли с курса.

Директор по продукту и руководитель «Гильдии методистов» EdMarket Марина Литвинова поделилась кейсом из своего опыта, связанным с оттоком студентов с курса по обучению профессии технического администратора онлайн-школ. Обнаружилось, что частая причина возвратов — неправильные ожидания студентов. На курсе высокая нагрузка по техническим направлениям, в том числе учащимся нужно самостоятельно осваивать некоторые инструменты. К этому многие оказались не готовы.

Фото: Oleksii Synelnykov / Shutterstock

В результате методисты EdMarket поменяли содержание открытого промовебинара, который знакомит с профессией, чтобы более наглядно донести до потенциальных студентов, чем именно занимается техадмин. На вводном занятии тоже подробно рассказали, с какими задачами столкнутся учащиеся, показали примеры. Благодаря этому удалось отсеять аудиторию, для которой данный курс точно не подходит, и подготовить студентов к нагрузке, сориентировать их.

Марина Литвинова также озвучила актуальную проблему любого группового обучения: в одном потоке оказываются учащиеся с совершенно разными целями. Кто-то действительно намерен освоить новую профессию и погрузиться в контекст, кому-то нужно срочно найти новый способ заработка, чтобы выплачивать кредит, а кто-то идёт на курс за общением. Такая ситуация тоже вызывает вопросы: как сопровождать обучение разнородной группы, как организовать индивидуальную тьюторскую поддержку и что именно измерять, чтобы оценить образовательный опыт людей с совершенно разными целями.

Так, EdMarket с помощью обратной связи измеряет, насколько студенты удовлетворены работой службы сопровождения. Также на каждом потоке обязательно оцениваются NPS, промежуточный и финальный COR и другие метрики.

Директор по образованию в «ПостНаука.Academy» Максим Скрябин считает, что для человека, который входит в новую профессию, очень важно участие в сообществе единомышленников. Это мнение поддержала Марина Литвинова, добавив, что если в процессе обучения студент взаимодействует с другими — например, в небольшой группе или проектной команде, — он получает опыт, который не мог бы приобрести, обучаясь в одиночку, развивает софт-скиллы.

Михаил Свердлов согласился с тем, что общение, поддержка наставников и одногруппников очень важны для студентов:

«Я прекрасно вижу чаты комьюнити в Slack и Miro-доски наших учеников, которые учатся на буткемп-программах по модели ISA. Всё это взаимодействие крайне позитивно на них сказывается с точки зрения мотивации. Потому что ученики привыкли к [такому] формату, что их учат по модели „один преподаватель для многих“, они не ученики, они класс, поток, группа. А здесь наставники — так же, как у коллег в EdMarket, — сопровождают каждого индивидуально, дают обратную индивидуальную связь. Работая в группах, видя, как каждый из них продвигается, они получают дополнительный заряд и мотивацию».

Ася Фурсова упомянула аналитический обзор OECD Learning Compass 2030, который показал, что мировыми трендами в образовании становятся well-being, то есть ощущение безопасности, благополучия, и sustainability — устойчивое развитие. И всё более важным оказывается совпадение ценностей студента и других участников образовательного процесса:

«Как это может проявляться в образовании? Самый простой пример: если всем выдают пластиковые бутылки, человеку, у которого уже сильно развито экологическое самосознание, это кажется неприятным, неправильным. А если всё образование построено с большим вниманием к well-being-аспекту для всех участников этого образовательного процесса, это тоже всегда чувствуется. Это может быть очень важной метрикой для студента — именно эти ценностные штуки».

После перечисления параметров, важных для образовательного опыта, закономерно возникает вопрос: можно ли их как-то измерить? Эксперты назвали несколько способов это сделать.

Если нужно оценить формирование связей между студентами, то измеримыми показателями могут стать скорость ответов на вопросы в чате, количество вовлечённых в общение людей и число полезных сообщений в расчёте на количество студентов, считает Михаил Свердлов. Измерять это, по мнению эксперта, можно на любой платформе, на которой студенты коммуницируют.

Фото: DimaBerlin / Shutterstock

Марина Литвинова поделилась наблюдением, что из учебного чата часто «отпочковываются» отдельные группы: «Кто тоже делает курс по психологии?», «Ребята, кто ещё из Питера?», «Тут есть совсем новички?». Эти небольшие объединения, по словам спикера, тоже можно использовать для оценки активности сообщества:

«Мы видим, что появился такой-то чатик, можем посчитать количество чатиков, которые образовались из большого учебного чата. Дальше, если есть возможность зайти, чтобы не помешать этой атмосфере, мы можем увидеть, например, что у нас есть небольшие мастермайнд-группы, по 5–7 человек. С какой частотой они проводят встречи, какая активность у них, сколько публикаций в день, готовы ли они принимать новых участников, есть ли рост у их маленького комьюнити».

Максим Скрябин добавил, что метрикой может быть не только переписка в чатах, но вообще любая совместная активность студентов — например, если они самоорганизовываются и регулярно устраивают онлайн-встречи в Zoom.

Также он упомянул, что оценка метрик сообщества входит в социально-учебную аналитику — направление, которое изучает количественные характеристики взаимодействия людей, например плотность связей. Для оценки опыта конкретного студента можно использовать другие социологические методы, например связанные с измерением эго-сети — совокупности социальных связей отдельного человека.

Если с метриками социальных взаимодействий всё более-менее понятно, то как измерить субъективные ощущения студента, когда речь идёт о ценностях, ощущении комфорта и других индивидуальных аспектах?

Марина Литвинова отмечает, что эффекты от обучения и вызванные им личностные изменения могут быть непредвиденными:

«Это то, что происходит неожиданно для самого человека: пришёл учиться, вдруг переосмыслил свою жизнь, понял, что у него другие интересы, стал больше себя ценить, уволился с работы, ушёл из отношений, которые плохо на него влияли, или набрался смелости и пошёл на собеседование. Это могут быть изменения в плане личностного роста, которые в целом благотворно влияют на жизнь человека. Может, и на жизнь окружающих его людей, семьи».

Конечно, это невозможно оценить количественно. Но, по словам Марины, такие личностные перемены вполне могут отражаться в ответах студента на вопросы «Готовы ли вы нас рекомендовать?» и «Насколько вам понравилось обучение?». Именно на них основываются важные метрики CSI и NPS.

Для того чтобы измерять эти показатели и влиять на них, EdMarket использует обратную связь и рефлексивные методы. Так, через пару недель после начала обучения студента просят заполнить анкету мотивации. В ней содержатся вопросы, насколько учащийся удовлетворён занятиями, что помогает ему учиться и что мешает, как он мотивирует себя на учёбу и чем ему может помочь служба сопровождения.

После завершения каждого модуля студенту предлагают ответить на вопрос, за что он может себя похвалить. Финальный рефлексивный блок применяется на этапе защиты дипломных работ. Здесь у выпускников спрашивают, о чём они думали, когда начинали обучение, что изменилось за это время, что они планируют делать дальше.

Максим Скрябин подкрепил тезис о важности рефлексии научными данными. По его словам, исследования показывают, что группы учащихся, которые применяют рефлексивные методики на занятиях, демонстрируют более высокие результаты в тестах, чем контрольные группы.

Формирование сообщества, личностные изменения студента, его удовлетворённость поддержкой в процессе обучения — это замечательно, но имеют ли эти аспекты практическое значение для бизнеса? Для чего EdTech-компании измерять эти параметры и работать над их повышением?

В реальности, как показали ответы экспертов, метрики образовательного опыта и метрики результата тесно связаны между собой. Михаил Свердлов привёл пример из опыта Skyeng, который продемонстрировал, что комфортное ощущение студента напрямую влияет и на образовательные результаты, и на финансовые показатели бизнеса.

Так, компания заметила, что студенты на уровне Beginner — новички в английском — прекращают обучение гораздо быстрее, чем учащиеся на более высоких уровнях. В среднем они проходили всего 15 уроков, тогда как другие — от 28 до 50. Чтобы узнать причину, Skyeng пообщалась со студентами и выяснила, что им было сложно и некомфортно учиться из-за завышенного спроса со стороны преподавателей. Так субъективные ощущения студентов выразились в объективных бизнес-метриках.

В результате компания разработала новый курс, изменив методику преподавания. Образовательные результаты не стали хуже, а отток студентов уменьшился: через пару месяцев после введения новой программы среднее количество занятий у новичков увеличилось до 23.

Марина Литвинова поделилась похожей историей. На курсы EdMarket после первой волны COVID-19 и ограничительных мер пришло много людей, очень далёких от мира технологий. Даже работа в онлайн-редакторах вызывала у них сложности:

«„Google Документы“ стали первым камнем преткновения. Люди не могли сделать первое домашнее задание. А когда приходят взрослые люди — в 40, 50 лет — им психологически тяжело, особенно учителям, просить помощи. Мы много вкладывали усилий в инструкции для отдела сопровождения, в дополнительные материалы к вводному уроку, чтобы людям как можно проще было стартовать, разобраться с платформой. Вроде технический момент, но люди боялись даже задавать вопросы. Нужна была определённая атмосфера, в которой не стыдно спрашивать, не страшно „налажать“, в которой все понимают, что через ошибки учатся».

Фото: Ksana Durand / Shutterstock

Служба сопровождения научилась работать со студентами, не имеющими базовых диджитал-навыков. Также в начале каждого курса учащимся предлагают обучение основам цифровой грамотности. В результате отток студентов из-за застревания в самом начале и страха задавать вопросы, сомнений в своих способностях — уменьшился. По мнению Марины, решение таких проблем можно найти только с помощью личного общения и эмпатии.

Уже почти два года мы живём в мире с пандемией COVID-19 и вынужденными ограничениями, в атмосфере неопределённости и тревожности. Как эти обстоятельства отражаются на образовательном опыте студентов ДПО и что компания может сделать, чтобы его улучшить?

Марина Литвинова справедливо заметила, что и до пандемии у учащихся могли возникнуть личные обстоятельства, мешающие продолжать обучение: высокая нагрузка на работе, проблемы со здоровьем, форс-мажоры. Правда, это были единичные случаи. Сейчас же студенты часто заболевают или испытывают постковидный синдром, многие находятся в состоянии психологической усталости, но всё равно хотят учиться, несмотря на сложную ситуацию. Это, по словам эксперта, ставит непростые задачи перед службой заботы EdMarket: перестроить план обучения, придумать, как помочь человеку встроить учёбу в его жизнь, или обсудить, когда он сможет вернуться к курсу.

Марина рассказала, что такие вопросы решаются индивидуально, зачастую — с помощью личной беседы, потому что в переписке человек не всегда может сформулировать, в чём именно заключается проблема. Кураторы из службы заботы делятся с коллегами кейсами и алгоритмами работы в том или ином случае, но общих правил для подобных ситуаций в компании нет — слишком много нюансов.

Эксперт отметила, что самим сотрудникам тоже нужна поддержка в условиях большой информационной и психологической нагрузки. Для этого в компании проводятся встречи с психологом. Сейчас EdMarket рассматривает возможность предлагать подобную помощь и студентам, оказавшимся в сложной ситуации.

Фото: Irzhanova Asel / Shutterstock

Максим Скрябин добавил, что сейчас запрос на психологическую поддержку действительно очень высок. Спикер упомянул, что в топ самых востребованных курсов на платформе Coursera в 2020 году вошёл курс под названием The Science of Wellbeing — «Наука о благополучии». Максим заметил, что это стремление к осознанности, саморегуляции накладывает отпечаток и на проектирование образовательного опыта:

«Когда мы говорим про создание образовательной среды, нужно делать наиболее комфортную, безопасную, чтобы люди могли делать ошибки, чтобы это была поддерживающая среда. Потому что некоторые вещи могут более остро восприниматься, нежели до ковида».

Эксперты сошлись во мнении, что поддерживающие роли в образовании — тьюторы, менторы, кураторы потоков — играют всё более важную роль. Эффективная работа службы сопровождения или заботы напрямую сказывается на показателях бизнеса. Объективные метрики могут указать на проблему в образовательном опыте студента, но прояснить её причины и найти решение можно только с помощью личного доверительного взаимодействия.


Курс с трудоустройством: «Профессия Методист с нуля до PRO» Узнать о курсе