Анализ обратной связи: проблемы

Обратная связь (по модели Киркпатрика) — это первый уровень в оценке эффективности всего процесса. Если вы знаете, как учащиеся реагируют на информацию в курсе, то можете сделать выводы:

• насколько им нравится процесс обучения;
• интересен ли он им;
• будут ли они использовать новые знания в работе.

Эффективный курс должен вызывать интерес у слушателя, иначе информация (даже очень полезная и важная) не будет адекватно воспринята учащимся. Отсюда вытекают такие последствия, как потеря времени и денег.

Поэтому создателям курсов полезно (и необходимо) обращаться к обратной связи, чтобы лучше понять свою целевую аудиторию и как сделать дистанционное обучение более удобным для восприятия учащихся. Точно также обратная связь нужна и менеджеру, который отвечает за процесс обучения. Ведь только так он сможет узнать, насколько полезен курс по мнению учащихся.

Безусловно, можно организовывать большие опросники, которые будут измерять удовлетворенность курсом со всех сторон. Можно проводить интервью, собирать фокус-группы и пытаться вытащить нужную информацию напрямую у участников процесса. Но что делать, когда курсов много, а обучающихся еще больше?

На помощь приходят: оценка курса пользователями, эмоциональные оценки (лайки и дизлайки), которые пришли в e-learning из социальных сетей,а также комментарии в курсе.

Оценка курса — привычный метод сбора обратной связи. Практически в каждом курсе мы спрашиваем наших учащихся: понравилось ли вам обучение, порекомендуете ли вы курс коллеге и т.д.

Например, распределение ниже говорит о том, что слушатели склонны оценивать курс положительно, нежели плохо и еще реже балл попадает в совсем низкие показатели.

Это, с одной стороны, говорит нам, что реакция на курс положительна. Но, с другой стороны, такие высокие оценки могут быть следствием других факторов. Например, у сотрудника могут быть опасения, что плохая оценка негативно скажется на его работе, если речь идет о корпоративном обучении.

Другая проблема общей оценки — ее агрегированность. Например, если курс в целом неплох, но какая-то глава подкачала, то из финальной оценки мы никогда об этом не узнаем. Также мы останемся в неведении, если какая-то глава понравилась пользователю больше других.

Для точечной оценки есть система лайков и дизлайков. Если пользователю понравился материал урока, он может рассказать об этом, нажав на палец вверх, или дать негативную оценку контенту, нажав палец вниз.

Такие быстрые эмоциональные отклики уже детальнее описывают курс и его содержимое. И все же, понять, а что не так с контентом или тестом, даже если дизлайков очень много, достаточно сложно.

Это связано с тем, что создатели курса не всегда могут точно оценить, какими знаниями обладают учащиеся. А значит могут пропустить что-то важное или, наоборот, концентрироваться на неважном слишком долго.

Лайки и дизлайки очень помогают найти потенциально проблемный контент. А также решают вопрос о том, какие главы были наиболее захватывающими для слушателя. Но они оставляют поле для фантазии создателей курса и приходится додумывать, чтобы понять, что же пошло не так с этой главой.

Самое лучшее, что учащиеся могут нам дать — комментарии. Это показатель того, что пользователь получил яркий опыт во время обучения, а текст комментария позволяет нам понять его эмоциональную окраску.

Несмотря на то, что именно комментарии — ценный источник информации, анализ больших массивов разнородных комментариев может вогнать в тоску даже опытных аналитиков.

Кроме того, пользователи оставляют комментарии только в случае неудовлетворенности или когда что-то не работает. Положительных отзывов с выделенными сильными сторонами курса не так много. Сразу возникает вопрос, а как понять, хороший ли курс, если все комментарии негативные?

Наверное, первое решение, которое приходит в голову — обязать пользователей оставлять комментарии. Но в таком случае, мы рискуем получить комментарии в духе «все было хорошо» или «нормально, курс прошел». Что, по сути, с легкостью можно заменить показателем «оценка курсу».

Мы пришли к замкнутому кругу: оценки — хорошо, но не объективно, комментарии тоже не панацея, но работают эффективнее лайков и дизлайков.

Что же тогда делать? Как получить обратную связь, которая решит задачу и поможет нам лучше понять учащихся?

Расскажем на следующей неделе ;)