Меню
Заказать демо
Заполните форму для получения доступа к демоверсии «Курсометр»

Анализ обратной связи: проблемы

анализ обратной связи в обучении
Вектор создан stories

Нет времени читать? Подпишитесь на обновления!
Обратная связь (по модели Киркпатрика) — это первый уровень в оценке эффективности всего процесса. Если вы знаете, как учащиеся реагируют на информацию в курсе, то можете сделать выводы:

  • насколько им нравится процесс обучения;
  • интересен ли он им;
  • будут ли они использовать новые знания в работе.
первичная оценка эффективности обучения
Модель Киркпатрика схематично. Обратная связь - первичная оценка эффективности обучения
Эффективный курс должен вызывать интерес у слушателя, иначе информация (даже очень полезная и важная) не будет адекватно воспринята учащимся. Отсюда вытекают такие последствия, как потеря времени и денег.

Поэтому создателям курсов полезно (и необходимо) обращаться к обратной связи, чтобы лучше понять свою целевую аудиторию и как сделать дистанционное обучение более удобным для восприятия учащихся. Точно также обратная связь нужна и менеджеру, который отвечает за процесс обучения. Ведь только так он сможет узнать, насколько полезен курс по мнению учащихся.
    Но собирать мнения людей — задача не из легких.
    Безусловно, можно организовывать большие опросники, которые будут измерять удовлетворенность курсом со всех сторон. Можно проводить интервью, собирать фокус-группы и пытаться вытащить нужную информацию напрямую у участников процесса. Но что делать, когда курсов много, а обучающихся еще больше?

    На помощь приходят: оценка курса пользователями, эмоциональные оценки (лайки и дизлайки), которые пришли в e-learning из социальных сетей,а также комментарии в курсе.
      Оценка курса: так ли полезна, как нам кажется?
      Оценка курса — привычный метод сбора обратной связи. Практически в каждом курсе мы спрашиваем наших учащихся: понравилось ли вам обучение, порекомендуете ли вы курс коллеге и т.д.
      Такая оценка абстрактна. Наши данные показывают очень низкую вариацию этого показателя.
      Например, распределение ниже говорит о том, что слушатели склонны оценивать курс положительно, нежели плохо и еще реже балл попадает в совсем низкие показатели.
      оценка курса обучения от пользователя
      Очень много положительных оценок: неужели идеальный курс?
      Это, с одной стороны, говорит нам, что реакция на курс положительна. Но, с другой стороны, такие высокие оценки могут быть следствием других факторов. Например, у сотрудника могут быть опасения, что плохая оценка негативно скажется на его работе, если речь идет о корпоративном обучении.

      Другая проблема общей оценки — ее агрегированность. Например, если курс в целом неплох, но какая-то глава подкачала, то из финальной оценки мы никогда об этом не узнаем. Также мы останемся в неведении, если какая-то глава понравилась пользователю больше других.
      Лайки и дизлайки — спасательный круг?
      Для точечной оценки есть система лайков и дизлайков. Если пользователю понравился материал урока, он может рассказать об этом, нажав на палец вверх, или дать негативную оценку контенту, нажав палец вниз.
      лайки в ходе курса обучения как инструмент оценки
      Такие быстрые эмоциональные отклики уже детальнее описывают курс и его содержимое. И все же, понять, а что не так с контентом или тестом, даже если дизлайков очень много, достаточно сложно.

      Это связано с тем, что создатели курса не всегда могут точно оценить, какими знаниями обладают учащиеся. А значит могут пропустить что-то важное или, наоборот, концентрироваться на неважном слишком долго.

      Лайки и дизлайки очень помогают найти потенциально проблемный контент. А также решают вопрос о том, какие главы были наиболее захватывающими для слушателя. Но они оставляют поле для фантазии создателей курса и приходится додумывать, чтобы понять, что же пошло не так с этой главой.
      Почему комментарии так важны?
      Самое лучшее, что учащиеся могут нам дать — комментарии. Это показатель того, что пользователь получил яркий опыт во время обучения, а текст комментария позволяет нам понять его эмоциональную окраску.

      Несмотря на то, что именно комментарии — ценный источник информации, анализ больших массивов разнородных комментариев может вогнать в тоску даже опытных аналитиков.
      инструмент оценки курсов - комментарии
      Вектор создан stories
      Кроме того, пользователи оставляют комментарии только в случае неудовлетворенности или когда что-то не работает. Положительных отзывов с выделенными сильными сторонами курса не так много. Сразу возникает вопрос, а как понять, хороший ли курс, если все комментарии негативные?

      Наверное, первое решение, которое приходит в голову — обязать пользователей оставлять комментарии. Но в таком случае, мы рискуем получить комментарии в духе «все было хорошо» или «нормально, курс прошел». Что, по сути, с легкостью можно заменить показателем «оценка курсу».
      Что делать?
      Мы пришли к замкнутому кругу: оценки — хорошо, но не объективно, комментарии тоже не панацея, но работают эффективнее лайков и дизлайков.

      Что же тогда делать? Как получить обратную связь, которая решит задачу и поможет нам лучше понять учащихся?

      Расскажем на следующей неделе ;)
      Виктория Рогожина
      ведущий аналитик «Курсометр»