Создание системы управления модельным риском – процесс достаточно сложный и трудозатратный. В этом пришлось убедиться на практике, столкнувшись в процессе построения этой системы с разными вызовами.
Метод управления модельными рисками и возможности ошибки
Модельные риски – это риски процессов, связанных с разработкой, внедрением и применением моделей. Ошибки возникают всегда, без них в той или иной степени не обходится ни один процесс, а сокращение их количества и снижение их последствий требует значительных материальных ресурсов.
Ошибки случаются и в процессе разработки – когда специалисты по обработке данных (data scientist) создают некие математические абстракции. Во время разработки можно столкнуться с дрифтом данных или с тем, что использованный источник оказался в принципе недостоверен по сравнению с другими. Можно выбрать неверную архитектуру – такое случается значительно чаще, чем этого бы хотелось. Можно использовать неверные предпосылки, которые на практике не выполняются. Есть много вариантов, где можно ошибиться.
Аналогично складывается ситуация и при внедрении моделей. Чаще всего разработка модели идет на одном контуре, в одной платформе, а внедряется совершенно на другом контуре. Когда происходит миграция, неизбежно следуют ошибки. Можно следить в четыре глаза, можно в сто глаз, но вероятность ошибок не исчезает, и, к сожалению, она почти всегда велика. Минимизировать вероятность появления ошибок можно, но довольно сложно.
Что касается применения данных модели, кажется, что может быть проще? Приняла модель решение – берем его и используем. Но бывают ситуации, когда модель применяется к неверному сегменту, То, что она применима, например, к ситуации с классическим кредитованием, не гарантирует, что она сработает на зай-мах застройщиков.
В итоге ситуация довольно простая. На каждом из этих этапов – разработки, внедрения и применения моделей – могут возникать ошибки. Как с этим бороться? Как застраховаться от них? Ответ не так прост, как хотелось бы. Есть несколько методов управления.
Если говорить в терминах именно создания системы управления модельными рисками, то для начала этот модельный риск надо идентифицировать. Как показывает практика, большинство компаний банально не знают, какие модели у них работают. Потому что, во-первых, далеко не всегда понятно, что есть модель. Является ли ею SML (линия рынка ценных бумаг), который применяется раз в год,– это модель или не модель? Сredit limit increase – это модель или не модель? Мы должны всегда четко понимать разницу: есть ли в эксперименте или исследовании, который проводится, некая модельная составляющая, является ли он подверженным модельным рискам.
Дальше следует оценка, методы которой не всегда простые и не всегда дают достоверный результат.
Реагирование. В любом случае некий модельный риск у нас остается как минимум из-за того, что мы учим модель на одних данных, а применяем с временной задержкой. То есть то, чему учили модель на данных 2020 года, в корне отличается от той ситуации, которая наблюдается сейчас, в 2022 году.
Контроль. Как и любой другой вид риска, модельный риск надо контролировать. Это действие выполняет в том числе и оценка, но важно понимать, что нужно подразделение, которое будет этим заниматься. Пускать управление модельными рисками на самотек – это первая большая ошибка.
Основные вызовы и проблемы
С какими вызовами можно столкнуться в процессе построения этой системы? Самая большая проблема – это дисциплина и структура. Кажется, что может быть проще? А на самом деле это очень сложно. Надо объяснить каждому из сотрудников, что это не кто-то там наверху, не подразделение data science занимается проблемой и модельными рисками; модельный риск возникает, когда он сам берет неверный файл с неверной моделью или подтасовывает данные, которых никогда не было.
Без четкой дисциплины и четко налаженных взаимодействий не получится понять модельный ландшафт, потому что слишком велико техническое и методологическое разнообразие. Сколько подразделений в каждой компании, в каждом банке, которые занимаются моделированием, столько разных технологических и методологических способов. Кто-то использует Python, а кто-то вообще все это делает в Excel. Проблема возникает в тот момент, когда весь этот «зоопарк» надо применять в процессах. И ошибки бывают удивительными, вплоть до «перепутал знак»: вместо > (больше) поставил < (меньше) и т. д.
Подбор персонала. Для того чтобы нормально управлять модельными рисками, необходим очень высококвалифицированный персонал. Нужны люди, которые умеют собирать данные лучше, чем дата-инженеры, моделировать лучше, чем моделисты, и т.д. Такие люди, во-первых, стоят достаточно дорого. Во-вторых, управление модельными рисками требует определенного склада ума, достаточно специфичного. Потому что результат этой работы никак никому не виден. То есть разработчику модели понятно: вот он разработал модель, внедрил в продажу. А человек, который управляет модельными рисками? Результат его работы – хотя он на самом деле значим и важен для любой компании, для любого банка – фактически не виден. Поэтому в этой области хорошего сотрудника очень сложно найти.
Последний пункт – best practices. К сожалению, далеко не для всех моделей есть общепринятые подходы по оценке. Приходится изучать, придумывать новое, быть на переднем крае data science. Работа по оценке модельного риска предельно творческая. Здесь нет единого подхода, нет четкого понимания, когда хорошо, а когда плохо.
Подытожим: система управления модельным риском – это не роскошь и тормоз цифровизации бизнеса, а необходимый инструмент для контроля и управления.
Алексей ЧЕБЫКИН, директор Центра валидации банка «Открытие»
