Кем бы вы родились, если бы у вас был выбор?

Мы с Эдуардом Бабушкиным давно и периодически обсуждаем вопрос анализа различных сочетаний данных хранимых в LMS. Фрагмент одного из таких обсуждений Эдуард записал и выложил тут: "Как оценить знания без тестов"
Суть в том, что в нашем Учебном центре мы собираем отзывы после прохождения электронного курса для оценки качества курса. Как и что мы для этого делаем можно почитать здесь.
Очевидно, что по отдельным показателям отзыва можно судить об уровне полученных работником знаний из этого курса, не проводя дополнительных тестов.

Я глубоко верю, что косвенные данные могут быть «чище» и надежнее чем прямые (результаты тестов, опросов и тд). И обрабатывать их намного интереснее! А значит инструменты сбора можно и нужно размещать везде, где только возможно, например, в электронных курсах.

Вот самый свежий пример.
В начале апреля мы закончили разработку очередного курса.
В курсе есть ряд кейсов и диалоговых тренажеров. Во всех учащийся участвует выбранным в начале курса аватаром (который можно сменить в любой момент).


За следующие 2 недели курс прошли 1578 человек. Из них 1470 – женщины и 108 – мужчины.
А теперь начинается интересное!!!
Выбрали женский аватар – 1392 человека.
Выбрали мужской аватар – 181 человек.
Любители точности могут заметить небольшое расхождение в суммах, но оно несопоставимо с «ошибкой» в ориентации!

Распределение по аватарам:
аватар 1 аватар 2 аватар 3 аватар 4 аватар 5 аватар 6
889 80 423 63 60 58


Коллеги, любители аналитики, что скажите? Почему так распределился выбор? Прошу комментировать!

Вопросы можете задавать себе какие хотите!
Например
Мужчины на вид одного возраста и выбор наших работников распределился очень равномерно (включая вмешавшихся женщин). Вторая женщина явно старше соседок… Но почему распределение между первой и третьей так сильно отличается? 
Чем первая девушка понравилась больше? (или НЕ понравилась третья?)

Комментарии

Эдуард Бабушкин написал(а)…
Сергей, курс еще действующий?

если да, то поменяйте первую и третью мадам местами
давайте проверим гипотезу о том, что первая просто первая
Эдуард Бабушкин написал(а)…
пост классный
Эдуард Бабушкин написал(а)…
пост классный
Сергей Колков написал(а)…
Эдик, сделаем для чистоты эксперимента. Однако следующую тысячу, думаю, наберем только к следующему лету.
Не думаю, что первая простопервая. У мужиков-то не такой разброс.
Эдуард Бабушкин написал(а)…
Сергей, это надо проверять)
Курс как то знания оценивает?
есть тест?
Сергей Колков написал(а)…
Оценивает. не только тест... В общем мудреная система - с регрессом.
Эдуард Бабушкин написал(а)…
1) нам не нужно ждать следующую тысячу
к осени надерете еще хотя бы сотни три ответов?
2) теперь зацени, какие перспективы: ты не думал посмотреть разницу в регрессе тех, кто выбирает первую, вторую или т третью мамзель?
Сергей Колков написал(а)…
Нет, с результатами прохождения связывать не думал. Цель немного другая..
Да и не уверен в интересности результата.
Сейчас результаты идут очень кучно (при этом max и min баллы набирают единицы).
1 и 3 выбирали дамы со средним возрастом 35. Разница в десятых. 2-ю – 47! Если и будет разница в результативности - причина очевидна.

Но есть другое интересное наблюдение! Из 73 женщин выбравших мужской аватар 42 выбрали последний. А всего там 58 голосов.
Борода в тренде!!! Хочешь быть женским любимцем – расти бороду!
Вот истинная цель подобных исследований
:))))))))))))))))))
Эдуард Бабушкин написал(а)…
ну началось...
вот тут мы с тобой расходимся

ты пытаешься визуально разглядеть разницу - на глазок

я говорю про применение статистических критериев

опять впустую уйдет пост

данные ты мне конечно не скинешь в excel
Эдуард Бабушкин написал(а)…
файл excel должен содержать поля:
1) пол
1а)семейный статус (пишу а, потому что такой инфо чаще нет)
2) год рождения
3) дата, год приема на работу
4) тип выбранного персонажа
5) оценка прохождения курса

.....
и другие параметры, которые можно собрать

например, время прохождения курса
или оценку удовлетворенностью курсом

или, может быть у вас есть показатели эффективности этих людей?

Или, попробуй проследить судьбу женщин, выбравщих мужика - может быть они станут руководителями


Сергей Колков написал(а)…
Файл отправил на почту.

Мы давно практикуем подобный подход и делаем выводы какие делаем.
Цель этого поста – показать, что очень простыми средствами, размещенными в курсе, можно получать и интересную, и забавную, и полезную информацию о целевой аудитории.
Виктор Мордвинов написал(а)…
Сергей, спасибо за очень интересный пост. Я бы например сам выбрал первую девушку, на мой взгляд, она очень даже обаятельная )) Но здесь, наверное, больше всего влияют визуальные предпочтения. Что касается обратной связи по качеству курсов, то это действительно хороший инструмент для совершенствования учебного контента. Мы его тоже применяем. Но меня больше всего заинтересовало другое. Привожу Вашу цитату: "Очевидно, что по отдельным показателям отзыва можно судить об уровне полученных работником знаний из этого курса, не проводя дополнительных тестов". Если это не секрет, можно узнать хотя бы несколько таких показателей? И каким образом они позволяют оценивать уровень знаний без проверочных тестов?
Сергей Колков написал(а)…
Виктор, Вы действительно выбрали бы первую девушку в качестве своего аватара? :)))
Ну, да это и неважно! Мне часто приходится бороться с мнением экспертов бизнес-подразделений – «А я бы сделал вот так…». Ни наши эксперты, ни вы, ни я не являемся целевой аудиторией курса… И ведет она себя не так. Поэтому и приходится изучать ее таким способом.

Статью про отзывы почитали? Там не указано, но в нашем отзыве 13 показателей сгруппированные в 5 категорий. Для оценки можно использовать несколько с какими-то коэффициентами. Например, там есть «Соответствие повседневной практике», «готовность применять полученные знания», «самооценка своих знаний». Мы с Эдуардом и пытались взять результаты отзывов и результаты теста после прохождения курса, вывести закономерность и распространить ее на другие курсы. К сожалению до финала так и не дотянули.
Виктор Мордвинов написал(а)…
Ну нравится она мне ))) Мы же сначала реагируем на внешний женский образ, а только потом узнаем ее характер и ее внутренний мир )) Не исключаю, что в процессе изучения курса мое мнение могло бы измениться ))
Жаль, что не дотянули до финала. Хотелось бы увидеть эти закономерности.
Эдуард Бабушкин написал(а)…
а чё не дотянули то?

если вам покажется бредом моя гипотеза, что выбор аватара может влиять на качество прохождения курса, то я с вами дальше не играю

Сергей Колков написал(а)…
Не дотянули "Оценка знаний по отзывам".

По аватарам - твоя гипотеза принята! О сроках подтверждения/неподтверждения мы договорились.

Может кто еще варианты предложит или своим опытом поделится
Эдуард Бабушкин написал(а)…
на самом деле файл сформирован потрясающе, респектище)

результаты покажу такие, что сам своих девочек не узнаешь)
Sergey Snegirev написал(а)…
В идеальном случае надо рандомизировать порядок отображения аватаров и сохранять данные о порядке, в котором они были выданы. Чтобы уж совсем исключить фактор "тыкают в первую картинку".
Эдуард Бабушкин написал(а)…
А можно рандомизацию в Курслаб реализовать?
Сергей Колков написал(а)…
Можно. Я уже писал об этом. Но не вижу очевидности неразумного выбора первой

Популярные сообщения из этого блога

Какие инструменты необходимы для организации дистанционного обучения

Кейсы и проекты клиентов WebSoft, представленные в 2017 году

Цикл статей “Управление знаниями”. 1. Что такое knowledge management?