Особенности обучения и эксплуатации. Machine learning моделей в задачах противодействия мошенничеству

[caption id="attachment_429128" align="alignright" width="300"] Андрей Пинчук,
исполнительный директор – начальник Отдела аналитической экспертизы Сбербанка[/caption]

Особенно важно обеспечить безопасность в финансовом секторе, где также идет стремительное развитие электронных каналов обслуживания. Например, помимо стандартных операций – переводов и покупок, Сбербанк сегодня дает возможность получить кредит онлайн без необходимости посещения офиса и токенизировать банковскую карту в мобильном приложении, чтобы с ее помощью расплачиваться в магазинах или снимать наличные в банкоматах. В свою очередь, развитие платежных инструментов ведет к росту интереса со стороны мошенников.

Читайте также:

ИТ-направления, которые будут наиболее востребованы

Итак, рассмотрим наиболее важные аспекты, которые необходимо учесть при реализации процессов обучения и дообучения моделей противодействия мошенничеству и их эксплуатации.

Базовый процесс (pipeline) обучения и эксплуатации модели противодействия мошенничеству

Если внедряется первая модель противодействия мошенничеству, то базовый процесс может выглядеть следующим образом:

Собираем данные по оспоренным и легитимным транзакциям;

• Обогащаем данными о предшествующих транзакциях и активностях и дополнительными данными при их наличии;
• Подготавливаем данные для обучения модели (очистка и предобработка, создание различных агрегационных признаков, масштабирование, очистка коррелирующих и пр.);
• Разбиваем на train/test (или cross-validation с учетом временного аспекта данных) и hold-out;
• Обучаем модель (выбор алгоритма/ансамбля, сэмплирования, отбор значимых признаков, тюнинг гиперпараметров);
• Оцениваем качество на hold-out сете и при удовлетворительном результате внедряем или возвращаемся на шаг подготовки данных.

В рамках эксплуатации модели каждая транзакция обогащается рассчитываемыми для модели признаками и оценивается моделью с точки зрения уровня риска. Если оценка риска выше согласованного порога (определяется в рамках оценки качества в период обучения), то транзакция отклоняется. В противном случае операция исполняется.

После внедрения модели уровень фрода существенно снизится – приблизительно в соответствии с полученной оценкой качества модели. Однако спустя некоторое время он подрастет и установится на новом, более низком уровне, чем до внедрения модели.

Эти изменения вызваны тем, что мошенники будут адаптироваться и искать слабые места модели и пытаться их эксплуатировать. Таким образом, распределение фрода в пространстве транзакций эволюционирует с течением времени, то есть не является стационарным во времени (concept drift).

[caption id="attachment_429130" align="aligncenter" width="700"] Рис. 1. Базовый процесс обучения модели[/caption]

Нестационарность мошеннических транзакций

Основная отличительная черта нестационарных процессов – изменение с течением времени их вероятностных закономерностей. Если рассматривать поток транзакций и распределение в нем мошеннических транзакций, то именно активное противодействие (адаптация) со стороны злоумышленников к внедренным защитным механизмам и вызывает изменения распределения мошеннических транзакций: мошенники начинают пробовать использовать другие каналы, изменять суммы, модифицировать свои мошеннические схемы. Дополнительную нестационарность в процесс вносит также изменяющееся со временем поведение пользователей (сезонность, внедрение новых сервисов, изменение привычек), но это гораздо более плавные изменения по сравнению с изменением паттернов мошенничества, и они зачастую оказывают минимальное влияние на распределение фрода в пространстве признаков модели.

Для учета нестационарности процесса и более эффективного выявления фродовых транзакций необходимо обновление (дообучение) моделей противодействия мошенничеству. Самый очевидный способ – накопить достаточно данных о новых кейсах мошенничества после внедрения модели и применить на них «один в один» подход к обучению модели, который был разработан.

[caption id="attachment_429134" align="aligncenter" width="700"] Рис. 2. Эксплуатация модели[/caption]

C очень большой долей вероятности полученная модель на валидации будет обладать более низкими показателями эффективности. Но если внедрить ее в промышленную среду, то результаты получатся еще хуже, чем при валидации, – вместо сокращения выявления фрода при тех же объемах блокируемых транзакций легко можно получить его рост.

Почему так могло произойти? Причина кроется в бизнес-процессе внедрения модели – мы получаем информацию только по пропущенному мошенничеству (оспоренные операции), которое модель не смогла выявить, но не получаем обратной связи по предотвращенному мошенничеству (транзакция отклонена и не была проведена, причин для жалоб нет).

В результате новая модель обучается только на более сложных кейсах мошенничества (текущая версия модели не смогла их выявить) и ничего не знает про другие предотвращаемые кейсы мошенничества, которых может быть в разы больше по сравнению с пропущенными. Заметим также, что при таком бизнес-процессе мы не можем оценить качество эксплуатируемой модели, поскольку полагаемся только на результаты, полученные в рамках ее валидации при обучении.

[caption id="attachment_429135" align="aligncenter" width="500"] Рис. 3. Обновление модели после накопления достаточного объема новых данных[/caption]

[caption id="attachment_429137" align="aligncenter" width="500"] Рис. 4. Обучение методом скользящего окна[/caption]

Частично эту проблему можно нивелировать использованием более продвинутых подходов обучения моделей в следующих нестационарных процессах:

• скользящее окно – модель обучается на X предыдущих периодах времени и предсказывает следующий интервал, затем происходит сдвиг на один период.

В то же время спустя некоторое время примеры за периоды до внедрения модели уйдут из обучающей выборки, а расширять период длительное время невозможно из-за большого объема легитимных транзакций, которые постоянно накапливаются (возрастают объемы требуемой памяти и время обучения модели).

• Скользящее окно с сохранением фрода (fraud propagation) – в этом случае мы сохраняем скользящее окно только для легитимных транзакций, а фрод сохраняем весь. Но опять же с течением времени число новых кейсов будет копиться и в итоге начнет превосходить старые кейсы, и модель начнет «затачиваться» под их предсказание, что также приведет к ухудшению ее характеристик.

Но и в том, и в другом случае мы не можем оценить качество текущей модели. Правильным выходом в данном случае будет модификация бизнес-процесса эксплуатации модели.

Создание потока обратной связи по сработкам антифрод-системы или их аппроксимации

Способ получения обратной связи зависит от особенностей бизнес-процесса, в котором применяется модель противодействия мошенничеству. Глобально можно разделить их на два класса:

• возможно получить обратную связь от инициатора операции;
• получение обратной связи невозможно.

Примером первого класса является выявление мошеннических транзакций в операциях клиентов самого банка. В этом случае у банка есть возможность связаться с клиентом и уточнить, инициировал ли клиент данную транзакцию, и ее легитимность. Самый простой способ – создать систему работы с алертами системы фрод-мониторинга, выделить сотрудников, которые их будут отрабатывать, и связываться с клиентами.

В Сбербанке мы используем более сложный подход, который в зависимости от уровня риска операции и обстоятельств предшествующих операций определяет, как мы можем получить обратную связь. Самые рисковые транзакции, которые мы отклоняем, обрабатываются выделенной группой противодействия мошенничеству, которая связывается с клиентом и уточняет легитимность операции и обстоятельства мошенничества, по менее рисковым операциям обратная связь поступает с использованием IVR-звонков в контактный центр банка.

Пример второго класса – процессирование операций внешних клиентов и роль платежного агрегатора/шлюза, в этом случае неизвестен клиент-инициатор и отсутствует возможность с ним связаться. Другой пример – противодействие отмыванию средств, когда связываться с инициатором не имеет смысла: всегда будет подтверждение операции. К этому же кейсу можно отнести и пример из первого класса при невозможности модификации процессов под получение обратной связи.

[caption id="attachment_429139" align="aligncenter" width="500"] Рис. 5. Обучение с использованием fraud propagation[/caption]

В этом случае остается только аппроксимировать распределение мошеннических транзакций, которые бы существовали при отсутствии работающей системы противодействия мошенничеству. Достигается это за счет пропуска части транзакций, которые должны были быть заблокированы системой фрод-мониторинга.

Самый простой способ – каждая транзакция, которая отправляется на блокировку (превышает установленный порог риска), случайно с небольшой долей вероятности не блокируется.

Но данный метод обладает существенным недостатком – вероятность пропуска транзакции не зависит от оценки риска транзакции. Мы же хотим оценить реальную эффективность модели и иметь данные для ее дообучения. Поэтому целесообразно использовать подход, когда вероятность пропуска транзакции зависит от оценки риска модели f(risk_score). Зависимость обратная – чем выше оценка риска, тем должна быть ниже вероятность пропуска этой транзакции.

Значения функции подбираются исходя из транзакционного потока и допустимого «бюджета» пропускаемого фрода.

При применении такого подхода становится возможным рассчитать показатели эффективности модели. Также за счет получения этих данных возможно модифицировать процесс обучения моделей, чтобы устранить описанные ранее проблемы. Кейсы фрода, которые были выявлены, но специально пропущены моделью, добавляются в обучающую выборку, но с поправкой на весовой коэффициент = 1/f(risk_score). Практически все современные алгоритмы машинного обучения позволяют указывать важность (вес) конкретных примеров из обучающей выборки, что позволяет при обучении модели повышать важность правильной классификации таких примеров: сильнее штрафовать за ошибку при классификации этих кейсов.

[caption id="attachment_429140" align="aligncenter" width="500"] Рис. 6. Равномерная вероятность одобрить транзакцию при оценке риска > 700[/caption]

[caption id="attachment_429142" align="aligncenter" width="500"] Рис. 7. Обратная зависимость от оценки риска[/caption]

Это именно то, к чему мы стремились, потому что в реальности таких кейсов фрода существенно больше, чем представлено в выборке. Приблизительно в 1/f(risk_score) раз, поскольку мы пропускали только небольшую долю от блокируемых транзакций, равную f(risk_score).

В ряде задач в Сбербанке используется аналогичный подход, но при этом учитывается, что случайность пропуска транзакции должна закладываться еще на уровне клиента. В противном случае злоумышленнику достаточно будет просто сгенерировать большое число попыток проведения одной и той же операции, и чисто статистически в итоге операция будет пропущена антифрод-системой.

Также функция, определяющая вероятность пропуска, должна зависеть от транзакционного потока, чтобы исключать очень малые значения, когда в каких-то областях присутствуют только единичные примеры. Это необходимо по двум причинам. Первая модель может переобучиться на единичных кейсах с очень большим весом, что негативно скажется на ее общей эффективности при применении. Вторая – полученные величины эффективности являются оценочными, поэтому обладают дисперсией, которая тем меньше, чем больше примеров нам доступно. Это позволяет избежать резких скачков в оценках в случае корректной/некорректной классификации единичного кейса с очень большим весом.

Кроме того, такой подход позволяет параллельно тренировать и тестировать офлайн любое количество моделей.

Заключение

Для создания эффективных и адаптируемых к изменению паттернов фрода моделей противодействия мошенничеству необходимо встраивать в процесс получение обратной связи по сработкам системы (прямой или через аппроксимацию), а также использовать подходы обучения моделей в нестационарных процессах.

При разработке и внедрении моделей противодействия мошенничеству в новых процессах в Сбербанке мы всегда анализируем и учитываем эти особенности еще на начальных этапах. Это позволяет обеспечивать высокий уровень безопасности наших клиентов в условиях активно развивающихся новых платежных сервисов, а также превентивно реагировать на модификации мошеннических схем.