Кем бы вы родились, если бы у вас был выбор?
Мы с Эдуардом Бабушкиным давно и периодически обсуждаем вопрос анализа различных сочетаний данных хранимых в LMS. Фрагмент одного из таких обсуждений Эдуард записал и выложил тут: "Как оценить знания без тестов"
Суть в том, что в нашем Учебном центре мы собираем отзывы после прохождения электронного курса для оценки качества курса. Как и что мы для этого делаем можно почитать здесь.
Очевидно, что по отдельным показателям отзыва можно судить об уровне полученных работником знаний из этого курса, не проводя дополнительных тестов.
Я глубоко верю, что косвенные данные могут быть «чище» и надежнее чем прямые (результаты тестов, опросов и тд). И обрабатывать их намного интереснее! А значит инструменты сбора можно и нужно размещать везде, где только возможно, например, в электронных курсах.
Вот самый свежий пример.
В начале апреля мы закончили разработку очередного курса.
В курсе есть ряд кейсов и диалоговых тренажеров. Во всех учащийся участвует выбранным в начале курса аватаром (который можно сменить в любой момент).
За следующие 2 недели курс прошли 1578 человек. Из них 1470 – женщины и 108 – мужчины.
А теперь начинается интересное!!!
Выбрали женский аватар – 1392 человека.
Выбрали мужской аватар – 181 человек.
Любители точности могут заметить небольшое расхождение в суммах, но оно несопоставимо с «ошибкой» в ориентации!
Распределение по аватарам:
Суть в том, что в нашем Учебном центре мы собираем отзывы после прохождения электронного курса для оценки качества курса. Как и что мы для этого делаем можно почитать здесь.
Очевидно, что по отдельным показателям отзыва можно судить об уровне полученных работником знаний из этого курса, не проводя дополнительных тестов.
Я глубоко верю, что косвенные данные могут быть «чище» и надежнее чем прямые (результаты тестов, опросов и тд). И обрабатывать их намного интереснее! А значит инструменты сбора можно и нужно размещать везде, где только возможно, например, в электронных курсах.
Вот самый свежий пример.
В начале апреля мы закончили разработку очередного курса.
В курсе есть ряд кейсов и диалоговых тренажеров. Во всех учащийся участвует выбранным в начале курса аватаром (который можно сменить в любой момент).
За следующие 2 недели курс прошли 1578 человек. Из них 1470 – женщины и 108 – мужчины.
А теперь начинается интересное!!!
Выбрали женский аватар – 1392 человека.
Выбрали мужской аватар – 181 человек.
Любители точности могут заметить небольшое расхождение в суммах, но оно несопоставимо с «ошибкой» в ориентации!
Распределение по аватарам:
| аватар 1 | аватар 2 | аватар 3 | аватар 4 | аватар 5 | аватар 6 |
| 889 | 80 | 423 | 63 | 60 | 58 |
Коллеги, любители аналитики, что скажите? Почему так распределился выбор? Прошу комментировать!
Вопросы можете задавать себе какие хотите!
Например
Мужчины на вид одного возраста и выбор наших работников распределился очень равномерно (включая вмешавшихся женщин). Вторая женщина явно старше соседок… Но почему распределение между первой и третьей так сильно отличается?
Чем первая девушка понравилась больше? (или НЕ понравилась третья?)
20 комментариев:
Сергей, курс еще действующий?
если да, то поменяйте первую и третью мадам местами
давайте проверим гипотезу о том, что первая просто первая
пост классный
пост классный
Эдик, сделаем для чистоты эксперимента. Однако следующую тысячу, думаю, наберем только к следующему лету.
Не думаю, что первая простопервая. У мужиков-то не такой разброс.
Сергей, это надо проверять)
Курс как то знания оценивает?
есть тест?
Оценивает. не только тест... В общем мудреная система - с регрессом.
1) нам не нужно ждать следующую тысячу
к осени надерете еще хотя бы сотни три ответов?
2) теперь зацени, какие перспективы: ты не думал посмотреть разницу в регрессе тех, кто выбирает первую, вторую или т третью мамзель?
Нет, с результатами прохождения связывать не думал. Цель немного другая..
Да и не уверен в интересности результата.
Сейчас результаты идут очень кучно (при этом max и min баллы набирают единицы).
1 и 3 выбирали дамы со средним возрастом 35. Разница в десятых. 2-ю – 47! Если и будет разница в результативности - причина очевидна.
Но есть другое интересное наблюдение! Из 73 женщин выбравших мужской аватар 42 выбрали последний. А всего там 58 голосов.
Борода в тренде!!! Хочешь быть женским любимцем – расти бороду!
Вот истинная цель подобных исследований
:))))))))))))))))))
ну началось...
вот тут мы с тобой расходимся
ты пытаешься визуально разглядеть разницу - на глазок
я говорю про применение статистических критериев
опять впустую уйдет пост
данные ты мне конечно не скинешь в excel
файл excel должен содержать поля:
1) пол
1а)семейный статус (пишу а, потому что такой инфо чаще нет)
2) год рождения
3) дата, год приема на работу
4) тип выбранного персонажа
5) оценка прохождения курса
.....
и другие параметры, которые можно собрать
например, время прохождения курса
или оценку удовлетворенностью курсом
или, может быть у вас есть показатели эффективности этих людей?
Или, попробуй проследить судьбу женщин, выбравщих мужика - может быть они станут руководителями
Файл отправил на почту.
Мы давно практикуем подобный подход и делаем выводы какие делаем.
Цель этого поста – показать, что очень простыми средствами, размещенными в курсе, можно получать и интересную, и забавную, и полезную информацию о целевой аудитории.
Сергей, спасибо за очень интересный пост. Я бы например сам выбрал первую девушку, на мой взгляд, она очень даже обаятельная )) Но здесь, наверное, больше всего влияют визуальные предпочтения. Что касается обратной связи по качеству курсов, то это действительно хороший инструмент для совершенствования учебного контента. Мы его тоже применяем. Но меня больше всего заинтересовало другое. Привожу Вашу цитату: "Очевидно, что по отдельным показателям отзыва можно судить об уровне полученных работником знаний из этого курса, не проводя дополнительных тестов". Если это не секрет, можно узнать хотя бы несколько таких показателей? И каким образом они позволяют оценивать уровень знаний без проверочных тестов?
Виктор, Вы действительно выбрали бы первую девушку в качестве своего аватара? :)))
Ну, да это и неважно! Мне часто приходится бороться с мнением экспертов бизнес-подразделений – «А я бы сделал вот так…». Ни наши эксперты, ни вы, ни я не являемся целевой аудиторией курса… И ведет она себя не так. Поэтому и приходится изучать ее таким способом.
Статью про отзывы почитали? Там не указано, но в нашем отзыве 13 показателей сгруппированные в 5 категорий. Для оценки можно использовать несколько с какими-то коэффициентами. Например, там есть «Соответствие повседневной практике», «готовность применять полученные знания», «самооценка своих знаний». Мы с Эдуардом и пытались взять результаты отзывов и результаты теста после прохождения курса, вывести закономерность и распространить ее на другие курсы. К сожалению до финала так и не дотянули.
Ну нравится она мне ))) Мы же сначала реагируем на внешний женский образ, а только потом узнаем ее характер и ее внутренний мир )) Не исключаю, что в процессе изучения курса мое мнение могло бы измениться ))
Жаль, что не дотянули до финала. Хотелось бы увидеть эти закономерности.
а чё не дотянули то?
если вам покажется бредом моя гипотеза, что выбор аватара может влиять на качество прохождения курса, то я с вами дальше не играю
Не дотянули "Оценка знаний по отзывам".
По аватарам - твоя гипотеза принята! О сроках подтверждения/неподтверждения мы договорились.
Может кто еще варианты предложит или своим опытом поделится
на самом деле файл сформирован потрясающе, респектище)
результаты покажу такие, что сам своих девочек не узнаешь)
В идеальном случае надо рандомизировать порядок отображения аватаров и сохранять данные о порядке, в котором они были выданы. Чтобы уж совсем исключить фактор "тыкают в первую картинку".
А можно рандомизацию в Курслаб реализовать?
Можно. Я уже писал об этом. Но не вижу очевидности неразумного выбора первой
Отправить комментарий