Метод экспертных оценок: как принимать решения, когда данных недостаточно

Что такое метод экспертных оценок и где он применяется

Метод экспертных оценок — это процедура получения и обработки суждений группы специалистов для принятия решений в условиях неопределенности. Когда нет исторических данных, рыночной статистики или математической модели, мнение эксперта становится главным источником информации.

Экспертная оценка как метод управления используется в четырех основных ситуациях:

• Оценка рисков при запуске нового продукта без рыночной истории
• Прогнозирование спроса на инновационные услуги
• Ранжирование инвестиционных проектов по привлекательности
• Сценарное планирование при высокой волатильности рынка

В финтехе экспертная оценка особенно востребована. Кредитные истории новых сегментов клиентов отсутствуют. Регуляторные изменения трудно моделировать математически. А поведенческие факторы заемщиков не укладываются в статистические модели . Здесь эксперты заменяют данные.

Методы экспертных оценок: обзор основных подходов

Методы экспертных оценок делятся на индивидуальные и коллективные, очные и заочные. Выбор зависит от задачи, доступного времени и бюджета.

Индивидуальные методы:

• Интервью — беседа с экспертом для получения развернутого мнения
• Анкетирование — письменный опрос по формализованной анкете
• Аналитические доклады — эксперт готовит самостоятельное исследование

Коллективные методы:

• Метод Дельфи — анонимное анкетирование в несколько раундов
• Мозговой штурм — открытое обсуждение с генерацией идей
• Метод комиссий — очное совещание для согласования позиций

Для финтех-компаний, где важна независимость суждений, метод Дельфи предпочтительнее очных обсуждений. Анонимность снижает давление авторитетов и конформизм .

Метод Дельфи: экспертные оценки в чистом виде

Метод Дельфи — самый формальный из коллективных методов экспертных оценок. Разработан в 1950-х годах в RAND Corporation для прогнозирования военно-стратегических задач. Название отсылает к Дельфийскому оракулу, чьи предсказания считались истиной .

Алгоритм включает несколько этапов:

1. Формирование рабочей группы и определение целей экспертизы
2. Отбор экспертов (10–15 человек с подтвержденными компетенциями)
3. Подготовка анкеты с однозначно трактуемыми вопросами
4. Проведение 3–4 раундов анонимного анкетирования
5. Статистическая обработка и выработка рекомендаций

В первом раунде эксперты отвечают на вопросы и обосновывают позицию. Рабочая группа анализирует разброс мнений. Во втором раунде эксперты видят обобщенные ответы коллег (анонимно) и могут скорректировать свою оценку. К третьему раунду, как правило, разброс сокращается, и формируется согласованное решение .

Достоинства метода: анонимность, отсутствие группового давления, возможность статистической оценки согласованности. Недостатки: трудоемкость, длительность (недели и месяцы), зависимость от качества отбора экспертов.

Отбор экспертов: как не ошибиться

Качество экспертной оценки определяется компетенциями участников. Ошибка на этапе отбора делает бессмысленной любую статистическую обработку .

Для формализации отбора используют балльную систему. Пример из практики компании «Консультант-Парк» :

Эксперт с высшим образованием, без публикаций и опытом более 10 лет набирает 5 баллов. Кандидат наук с одной публикацией в год и опытом до 10 лет — тоже 5 баллов. Система позволяет сравнивать специалистов с разными профилями компетенций.

Дополнительные критерии: индекс цитирования (РИНЦ, Scopus), наличие патентов, рекомендации отраслевых ассоциаций.

Коэффициент конкордации: как измерить согласованность

Собрать мнения экспертов мало. Нужно понять, насколько они согласованы между собой. Если разброс велик — результат ненадежен. Для количественной оценки используют коэффициент конкордации Кендалла — Смита (W).

Формула коэффициента конкордации:

W = 12S / (m²(n³ - n))

где m — число экспертов, n — число объектов оценки, S — сумма квадратов отклонений сумм рангов от средней суммы.

Коэффициент варьируется от 0 до 1:

• W = 0 — полная несогласованность (мнения случайны)
• W = 0.3–0.5 — слабая согласованность
• W = 0.5–0.7 — средняя согласованность
• W > 0.7 — высокая согласованность, результат надежен

Пример из практики. Пять экспертов ранжировали восемь элементов рабочего места по важности. Коэффициент конкордации составил 0.714. Это выше 0.5, что говорит о высокой согласованности. На первом месте оказался системный блок, на втором — монитор, на третьем — компьютерная мышь.

Обратный пример. Девять экспертов оценивали компетенции коллег для отбора в экспертную группу. Коэффициент конкордации отобранной группы составил 0.002 — практически ноль. Согласованности нет, группу нельзя использовать для принятия решений.

Обработка экспертных оценок: от сырых данных к решению

После сбора анкет данные обрабатывают статистически. Основные инструменты:

• Медиана — среднее значение ранжированного ряда, устойчива к выбросам
• Среднее арифметическое — используется при нормальном распределении оценок
• Дисперсия и стандартное отклонение — показывают разброс мнений
• Квартили — позволяют отсечь крайние оценки (обычно отбрасывают 25% самых оптимистичных и 25% самых пессимистичных)

Для ранжирования проектов или рисков вычисляют средний ранг каждого объекта. Чем меньше сумма рангов, тем выше приоритет.

В венчурном инвестировании метод экспертных оценок комбинируют с методом Монте-Карло. Эксперты определяют диапазоны возможных значений ключевых параметров. Затем компьютер моделирует тысячи сценариев и выдает интервальную оценку риска. Это позволяет количественно оценить неопределенность, которую эксперты не могут выразить в одной цифре .

Сравнение с альтернативами: почему экспертные оценки, а не статистика

Метод экспертных оценок — не единственный инструмент прогнозирования. У каждого подхода своя область применения.

В финтехе все три подхода дополняют друг друга. Экспертные оценки используют на этапе запуска продукта, когда истории нет. По мере накопления данных подключают статистические модели и скоринг. А поведенческую аналитику применяют для оперативного выявления фрода .

Примеры экспертной оценки в действии

Пример 1. Оценка рисков при запуске кредитного продукта

В одном финтех-проекте запустили кредитную карту для отпуска с длинным грейс-периодом — три месяца без платежей. Риск-модель строилась на предположениях, а не на истории. Эксперты оценили вероятность дефолта в 15–20%. Реальность оказалась жестче: более трети клиентов вышли на просрочку, продукт едва вышел в ноль .

Ошибка была не в экспертизе как таковой, а в том, что эксперты не учли тайминг. Три месяца грейс-периода совпали с тремя месяцами активных выдач. За это время десятки тысяч клиентов получили лимиты. Информация об их платежной дисциплине появилась только через три месяца — когда портфель уже сформировали.

Что сделали бы по-другому при правильной экспертной оценке. Вместо единого прогноза следовало построить сценарное планирование: оптимистичный, базовый и пессимистичный сценарии. В пессимистичном — заложить поэтапное увеличение лимитов по мере получения данных о платежах.

Пример 2. Отбор IT-проектов для венчурного инвестирования

В Астраханском государственном техническом университете разработали алгоритм подбора приоритетных венчурных IT-проектов на основе метода экспертных оценок .

Процедура включала несколько шагов:

1. Эксперты определили множество критериев оценки с учетом отраслевой специфики
2. Рассчитали коэффициент конкордации Кендалла — Смита для проверки согласованности
3. Обработали оценки и ранжировали проекты по привлекательности
4. Применили метод Монте-Карло для количественной оценки инвестиционного риска

Результат — универсальная классификация критериев оценки IT-проектов и итерационный алгоритм расчета коэффициентов важности. Метод позволил не просто ранжировать проекты, а дать количественную оценку привлекательности с учетом неопределенности.

Пример 3. Оценка проектов в ИТ-компании

В ИТ-компаниях метод экспертных оценок часто применяют на предпроектной стадии. Руководитель проекта и технические эксперты оценивают сроки и трудоемкость, когда требования заказчика еще не полны. Точность такой оценки зависит от опыта специалистов и используемых методов .

Плюсы метода: быстро, подходит для нестандартных задач. Минусы: сильная зависимость от субъективного мнения. Опытный архитектор может сказать: «Поднять инфраструктуру — три дня». И эта цифра ляжет в план. Но если архитектор ошибся, последствия — срыв сроков и превышение бюджета.

Как внедрить метод экспертных оценок в компании: пошаговый алгоритм

Шаг 1. Определите задачу и критерии. Что именно нужно оценить? Какие параметры важны? Какие сценарии развития возможны? Четкая постановка задачи — половина успеха.

Шаг 2. Сформируйте экспертную группу. Оптимальное число — 10–15 человек. Используйте балльную систему для отбора. Проверьте, чтобы уровень компетенций участников был сопоставим — сильный разброс снижает согласованность .

Шаг 3. Выберите метод сбора данных. Для стратегических решений с высокой неопределенностью подходит метод Дельфи (анонимно, в несколько раундов). Для оперативных задач — метод комиссий (очное совещание). Для быстрой оценки — индивидуальное анкетирование.

Шаг 4. Проведите опрос и обработайте данные. Рассчитайте медиану, среднее значение, дисперсию. Вычислите коэффициент конкордации. Если W < 0.5 — согласованность низкая, нужен дополнительный раунд или замена экспертов.

Шаг 5. Сформулируйте рекомендации. На основе обработанных данных подготовьте итоговое заключение. Укажите диапазон неопределенности и уровень доверия к результату.

Шаг 6. Документируйте процесс. Сохраните анкеты, расчеты, промежуточные результаты. Это позволит проверить обоснованность решения при аудите.

Частые ошибки при использовании метода экспертных оценок

Ошибка 1. Неформальный отбор экспертов. Когда экспертов выбирают «по знакомству» или «по должности», а не по реальным компетенциям. Результат — несогласованные мнения и низкий коэффициент конкордации.

Как избежать. Внедрите балльную систему отбора. Фиксируйте критерии и оценки.

Ошибка 2. Игнорирование согласованности. Даже если эксперты — признанные специалисты, их мнения могут расходиться. Использовать такие оценки для принятия решений рискованно.

Как избежать. Всегда рассчитывайте коэффициент конкордации. При W < 0.5 проведите дополнительный раунд или замените часть экспертов.

Ошибка 3. Нарушение анонимности в методе Дельфи. Если эксперты знают, кто как ответил, включается механизм конформизма. Авторитетные участники давят на остальных.

Как избежать. Обеспечьте техническую анонимность. Обрабатывает данные независимый модератор.

Ошибка 4. Слишком широкий разброс компетенций. Когда в группе есть и глубокие технические специалисты, и менеджеры, и маркетологи — согласовать мнения почти невозможно.

Как избежать. Формируйте однородные группы по уровню экспертизы. Для междисциплинарных задач проводите отдельные экспертизы по каждому профилю.

Ошибка 5. Подмена экспертной оценки голосованием. Когда решение принимают большинством, а не статистической обработкой. Это снижает объективность.

Как избежать. Используйте ранжирование и весовые коэффициенты, а не бинарное «за/против».

Что в итоге делать руководителю

Метод экспертных оценок не заменяет аналитику и статистику. Он дополняет их там, где данных недостаточно. В финтехе таких ситуаций много: новые кредитные продукты, выход на новые сегменты, оценка регуляторных рисков, сценарное планирование.

Читайте также:

Международный ПЛАС-Форум FinnoWay Armenia 2025 – состав спикеров расширяется!

Начните с малого. Выберите один проект или решение, где неопределенность мешает принять решение. Соберите группу из пяти экспертов. Проведите пилотную экспертизу методом Дельфи в два раунда. Рассчитайте коэффициент конкордации. Сравните результат с интуитивным решением.

Когда процесс отлажен на пилоте, масштабируйте на портфель проектов. Регулярные экспертные сессии с расчетом согласованности станут таким же инструментом управления, как ежемесячная финансовая отчетность. Разница лишь в том, что отчетность смотрит в прошлое, а экспертные оценки — в будущее.