Метод экспертного оценивания: руководство к действию

В процессе развития производства и управления возникает потребность в качественных управленческих решениях. Для повышения их обоснованности с учетом факторов, влияющих на результаты, необходим комплексный разносторонний анализ, включающий в себя как количественную, качественную оценку, так и учет суждений специалистов по рассматриваемому вопросу.

Отметим, что экспертное оценивание вносит степень субъективности в полученные результаты, однако на сегодняшний день это безальтернативный метод. Очевидным является тот факт, что от точности и обоснованности выбора частных показателей, установления эталонных значений и интерпретации полученных результатов зависят достоверность полученных выводов и возможность их использования на практике [9].

Формируем комиссию

Детальное исследование публикаций позволило убедиться в том, что работу по формированию экспертной комиссии можно обоснованно считать трудоемким, сложным и многоэтапным процессом [7]. Дело усложняется тем, что до настоящего времени не определены единые правила по проведению такого рода экспертизы. В результате изучения наиболее распространенных подходов к экспертному оцениванию предлагаем следующий алгоритм (см. рис.).

Первоочередной задачей подготовительного этапа является назначение руководителя экспертной комиссии, осуществляющего общее руководство по работе экспертной комиссии и ответственного за интерпретацию получаемых результатов [5]. Как правило, возглавляет экспертную комиссию непосредственно представитель управляющего аппарата, одновременно являющийся инициатором проведения анализа по заданной проблеме. В его обязанности входит определение цели и задач по формированию экспертной группы.

На наш взгляд, имеет смысл включить в экспертную комиссию экспертную и рабочие группы. Рабочая группа включает в себя технических исполнителей, основными функциями которых является проведение работ по подготовке материалов, информированию, обработке результатов, составлению анкет, сбору информации и т.д. Экспертная группа состоит из специалистов, обладающих необходимыми теоретическими знаниями и практическим опытом по решаемой проблеме. Если формирование рабочей группы не составляет особой сложности, то работа по формированию экспертной группы требует большего внимания, поскольку правильный подбор экспертов позволяет снизить субъективизм будущих оценок, и, в конечном счете, самих результатов. Как уже было отмечено, состав экспертной группы определяется необходимостью привлечения специалистов из разных отделов организации в зависимости от целей проведения экспертного анализа.

Рис. Алгоритм экспертной оценки

Измерение коэффициентов

Руководитель экспертной комиссии формирует исходный список кандидатов экспертной группы. Затем проводится корректировка исходного списка путем включения специалистов, изъявивших желание участвовать в работе экспертной группы и отобранных руководителем. После получения полного списка кандидатов, проводится анализ их компетентности с использованием метода самооценки. Коэффициент компетентности кандидата определяется по формуле:

, [1]

– коэффициент информированности i-го кандидата;

– коэффициент индивидуальных качеств i-го кандидата;

– коэффициент стабильности работы i-го кандидата;

– коэффициент согласованности мнения i-го кандидата с мнением предварительно сформированной экспертной группы.

Для расчета первых трех коэффициентов кандидаты используют балльные оценки, значение которых варьируется по шкале от 0,1 до 1, где 1 – это максимальный балл.

Коэффициент информированности определяется по данным, представленным в таблице 1 [7]. Данный показатель отражает, какие источники информации и в какой степени влияют на мнение i-го кандидата при принятии им решений.

Таблица 1

Исходные данные для оценки коэффициента информированности

Коэффициент, отражающий характеристики индивидуальных качеств кандидата, также необходимо учитывать при определении компетентности. В ряде работ (А.И. Афоничкин, О.С. Кошелев, Л.И. Лукичева и др.) показано, что на эффективность экспертного оценивания непосредственно влияют личные характеристики экспертов, наиболее значимыми среди которых выступают умение работать в команде, объективное оценивание ситуации и т.д. [1]. В результате их исследования, для оценки были выделены 5 обязательных индивидуальных качеств экспертов (см. табл. 2).

Таблица 2

Исходные данные для оценки коэффициента индивидуальных качеств кандидата

Подчеркнем, что и рассчитываются по формуле средней арифметической:

, [2]

– оценка в баллах i-го кандидата по j-му критерию.

Коэффициент стабильности работы предлагаем принимать в зависимости от стажа работы кандидата (см. табл. 3).

Таблица 3

Данные для определения стабильности работы кандидата

Следует отметить, что стаж работы учитывается в отношении организации, где работает кандидат на данный момент времени. Кандидат просто выделяет необходимое поле, которому соответствует обозначенные баллы.

При определении коэффициента согласованности мнений воспользуемся формулой [4]:

, [3]

ранг, присвоенный j-ым кандидатом в отношении определенного объекта;

средний ранг определенного объекта, полученный в результате проведения тестового опроса всеми кандидатами.

Расчет данного коэффициента основан на проведении тестового опроса с просьбой проранжировать объекты по степени их влияния на какой-либо показатель. Соответственно, если ранг i-го кандидата значительно отличается от группового среднего ранга, то и значение будет стремиться к 0, в противном случае, оно будет приближено к 1.

Градация значений коэффициента компетенции определяет его уровни: 0,9–1,0 свидетельствует о максимальном уровне компетентности, 0,8–0,9 – высоком, 0,7–0,8 – уровень компетенции выше среднего, 0,6–0,7 – средний, 0,5–0,6 – ниже среднего и менее 0,5 – низкий. Очевидно, что кандидаты с низким, ниже среднего, а также средним уровнем компетентности исключаются из списка претендентов. За сбор информации, обработку собранных данных отвечает рабочая группа, предоставляющая результаты руководителю экспертной комиссии.

Где минимум, а где максимум

После того как установлен уровень компетентности кандидатов, необходимо определить численный состав экспертной группы. В теории существуют некоторые подходы к определению числа экспертов в составе группы. Так, по мнению Е. Марголина, специалиста в области экспертных оценок, число экспертов должно быть больше, чем количество объектов оценивания [6]. Данный подход является довольно простым, без конкретного обоснования. Ряд авторов утверждают, что количество экспертов в группе должно быть от 7 до 20 человек [4]. Другие придерживаются пределов от 10 до 30 [3]. Однако объединяет исследователей одна общая позиция: слишком малое количество экспертов в группе приводит к недостоверным результатам, а слишком большое – к проблемам организационного характера.

Согласно принципу Гештальта, численность экспертной группы не должна превышать 10 человек. Мы в полной степени согласны с данным принципом. Если количество экспертов будет превышать 10 человек, то станет сложным согласовывать их мнения, возникнут сложности организационного характера. Очевидно, что не все кандидаты после определения уровня компетентности будут включены в окончательный список. Представляется достаточно проблематичным определить точную численность экспертов. Однако следуя законам логики, можно определить минимальное и максимальное количество. Минимальное количество вполне может быть определено численностью экспертов, имеющих максимальное значение коэффициента компетентности. Максимальную же границу предлагаем определять на основе выражения [8]:

, [4]

– общее количество кандидатов;

– значение максимального коэффициента компетентности;

– компетентность i-го эксперта.

К окончательному решению

После определения количества экспертов руководитель комиссии формирует окончательный список экспертной группы.

Второй этап по формированию экспертной комиссии является не менее значимым. Он включает в себя работу по определению методов сбора информации, типов оценочных шкал и способов измерения объектов.

Общепринятыми способами сбора мнений экспертов является «мозговой штурм», деловые игры, дискуссии, метод «Дельфи», метод комиссий и др. Наименее затратными и простыми в организации, на наш взгляд, являются анкетирование и опрос.

Система правил измерения объектов (явлений) позволяет преобразовать полученную от экспертов информацию в удобную для дальнейшего анализа форму. Традиционно тот или иной тип шкалы определяется системой предпочтений экспертов. Так, наиболее простой является номинальная шкала. Она основана на сравнении объектов (явлений) с эталоном и упорядочении их по двуноминальной шкале, при этом присваиваемый балл равен 0 или 1. Шкала отношений используется при наличии абсолютного свойства объекта, когда известна нулевая точка, например, размер прибыли при выпуске нового продукта. Мы рекомендуем использовать при экспертном оценивании порядковую и интервальную шкалы. Данный выбор объясняется тем, что они имеют преимущество по сравнению с другими и наиболее часто используются при проведении экспертных оценок. Это обусловлено тем, что, например, при номинальной шкале возможны только два варианта: «да» или «нет», что сужает рамки оценивания. А с помощью шкалы отношений определяются количественные характеристики, которые могут быть получены и расчетным путем.

Следующий шаг заключается в определении способа измерения объектов. При работе с порядковой и интервальной шкалой, как правило, используются ранжирование, парное сравнение и непосредственная оценка. Поскольку экспертное оценивание не предполагает анализа большого числа объектов, а различие между оцениваемыми объектами является довольно значительным, то нерационально использовать способ парного сравнения при исследовании ресурсного потенциала организации. Соответственно, оптимальными методами является ранжирование и непосредственная оценка. Сущность ранжирования сводится к выбору наиболее существенного объекта из исследуемой совокупности и расположения объектов в порядке убывания (возрастания). Ранги могут принимать значение от 1 до n, при этом значение самого важного ранга равно 1. Необходимо подчеркнуть, что, по мнению экспертов, если несколько оцениваемых объектов имеют одинаковую важность, то ранги присваиваются таким образом, чтобы сумма оставалась неизменной. Например, если объекты 2 и 3 считаются одинаковыми по значимости, то им необходимо присвоить ранг 1,5 и т.п.

Непосредственная оценка не просто упорядочивает, но и определяет, насколько один объект более важен, чем другой, посредством интервалов, которым соответствуют баллы, например, от 0 до 5, от 1 до 10 и т.д. Ранжированию соответствует порядковая шкала, а способу непосредственных оценок – интервальная.

Этап экспертного оценивания заключается в непосредственном сборе мнений экспертов и их отборе с применением выбранных методик.

С целью определения достоверности результатов полученных оценок необходимо определить согласованность мнений экспертов. Другими словами, полученные мнения экспертов имеют дальнейшее практическое применение только в том случае, если они являются согласованными.

Так, для определения согласованности мнений экспертов используются статистические характеристики – меры разброса. Наиболее распространенным параметром является коэффициент вариации. Его мы используем при обработке результатов, полученных в ходе анкетирования при оценке организационного и предпринимательского потенциалов. Традиционно данный коэффициент рассчитывается по формуле [2]:

, [4]

где СКО – среднее квадратическое отклонение, определяемое по формуле:

, [5]

где m – количество экспертов;

– оценка j-го эксперта;

– средняя оценка группы экспертов.

Преобразуя данную формулу для балльных оценок, получим следующее выражение:

, [6]

где

– средний балл i-го эксперта в отношении j-го объекта, рассчитываемый по формуле:

, [7]

– баллы i-го эксперта в отношении j-го объекта;

– число экспертов, оценивающих j-ый объект;

– средний балл по группе.

Полученное значение коэффициента вариации характеризует долю среднего значения этой величины, составляющей ее средний разброс [2]. Оно не имеет четких границ, однако очевидным является то, что большое значение данного коэффициента характеризует сильное изменение признака. Эмпирическим путем установлено, что до 10% – слабое изменение; от 10 до 25% – умеренное изменение и свыше 25% – высокое изменение. В теории статистики данное значение несколько выше и принято считать, что если оно превышает 35%, это свидетельствует о неоднородности оценок экспертов.

В случае использования метода ранжирования, необходимо рассчитать коэффициент конкордации. В случае если все ранги различны, то используется следующая формула [10]:

, [8]

,

– ранг i-го объекта оцениваемого j-ым экспертом;

n – количество объектов;

k – количество экспертов.

Если хотя бы один эксперт выставил одинаковые ранги, то формула примет вид:

, [9]

– присутствие в анкете j-го эксперта одинаковых рангов, рассчитывается по формуле:

, [10]

– количество групп одинаковых рангов а анкете j-го эксперта;

– количество рангов в r-й группе одинаковых рангов в анкете j-го эксперта.

Значение коэффициента может принимать значение от 0 до 1. Чем ближе значение к единице, тем более согласованными являются мнения экспертов. О высокой согласованности свидетельствует значение более 0,8.

Выводы

Таким образом, представленный подход к проведению экспертных оценок позволяет формализовать процессы сбора, анализа, обработки мнений экспертов с преобразованием полученной информации в наиболее приемлемую и удобную форму. С целью получения наиболее объективной информации необходимо уделить большое внимание составу комиссии, поскольку от наличия специализированных мнений экспертов в определенной области будет зависеть и объективность получаемой информации.

Не стоит, однако, забывать, о том, что данный метод не может заменить количественный анализ, он лишь дополняет картину и в то же время является безальтернативным вариантом в случае невозможности применения более точных методов.