Экспертное оценивание — процедура получения оценки изучаемого явления на основе группового мнения специалистов в данной предметной области (экспертов). При этом исходят из предположения, что совместное мнение обладает большей точностью, чем индивидуальное мнение каждого из специалистов.

В психологии метод экспертных оценок применяется для анализа профессионально деятельности, для оценки специалистов, для формирования рабочей модели исследуемого явления и т.п.

Этапы экспертного оценивания

Процедура экспертного оценивания предполагает согласованность с другими этапами исследования. Данный метод должен органично сочетаться с другими исследовательскими приемами и соответствовать целям и задачам проекта.
В общем виде процедуру можно разбить на следующие этапы:
1. Определение цели исследования
2. Разработка процедуры исследования, определение бюджета
3. Подготовка информационных материалов, бланков анкет, модератора процедуры
4. Подбор экспертов, специалистов по статистическому анализу и аналитиков
5. Проведение экспертизы
6. Статистический анализ результатов
7. Подготовка отчета с результатами экспертного оценивания

Кто такие эксперты

Эксперты должны обладать опытом в областях, соответствующих решаемым задачам. Помомо опыта, крайне желательно наличие у эксперта профильного образования и педагогического опыта в данной сфере (или опыта наставничества). При подборе экспертов следует учитывать момент личной заинтересованности и пристрастности, который может стать существенным препятствием для получения объективного экспертного суждения. Наиболее распространены методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран необходимый коллектив.

Достоинства метода экспертных оценок

Пожалуй, основным достоинством данного метода является его универсальность и сравнительная простота процедуры. Особенно хорошо данный метод проявляет себя в задачах оценивания, для которых разработаны четкие, конкретные и измеряемые критерии оценки. Пример: психологическое и психиатрическое обследования на предмет наличия психических расстройств при приеме на работу, осуществляемое профессиональными психологами и психиатрами.

Недостатки метода экспертных оценок

Для того чтобы адекватно оценить деятельность человека в любом виде деятельности, недостаточно обладать знаниями и умениями в этой области. Необходимо также иметь четкое представление о модели рассматриваемой деятельности, понимать ее структуру и условия достижения успешных результатов. Как правило, чем больше успех деятельности связан с формальными, техническими операциями (их точностью, своевременностью и т.п.), тем более надежные результаты демонстрирует процедура экспертного оценивания.
В том же случае, когда результаты деятельности связаны с личностными особенностями, способностями человека, экспертные методы зачастую дают сбои. Это связано с тем, что, во-первых, эксперт не способен адекватно оценить психологические особенности личности человека и его способности, не будучи профессиональным психологом. И, во-вторых, связь между психологическими особенностями человека и результатами его деятельности зачастую носит очень сложный и неоднозначный характер, что приводит к ошибкам экспертов, которые представляют свои, подчас ошибочные суждения об этой связи, за абсолютную истину.

Статистика

После проведения оценивания необходимо оценить согласованность мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты). Важно при любом исходе оценить ошибку исследования.

Итогом экспертного оценивания обычно служит модель свойств объекта на основе ответов экспертов (для аналитической экспертизы).

08.04.2009

Алексей Хавыло