Уровень суждения: Почему ИИ не умён, пока лидеры не станут умнее

Гильермо Дельгадо Апарисио — глобальный лидер по искусственному интеллекту в Nisum.

Откройте для себя главные новости и события финтеха!

Подписывайтесь на рассылку FinTech Weekly

Читают руководители JP Morgan, Coinbase, Blackrock, Klarna и других компаний

Искусственный интеллект в финтехе охватывает широкий спектр применений: от обнаружения мошенничества и алгоритмической торговли до динамического кредитного скоринга и персонализированных рекомендаций по продуктам. Однако отчет Управления по финансовому поведению (Financial Conduct Authority) показал, что из 75% компаний, использующих ИИ, только 34% понимают, как он работает.

Проблема заключается не только в отсутствии осведомленности. Это глубокое недоразумение относительно силы и масштабов аналитики данных, из которой возникает ИИ. Массовое внедрение генеративных инструментов ИИ привело тему в зону внимания руководства. Но многие из тех, кто решает, как внедрять ИИ, не понимают его базовых принципов — исчисления, статистики и сложных алгоритмов.

Возьмем закон Бёрнфордa — простое статистическое правило, которое выявляет мошенничество, обнаруживая закономерности в числах. ИИ строится на тех же математических основах, только масштабируется на миллионы транзакций одновременно. Убрав всю шумиху, остается фундамент — статистика и алгоритмы.

Именно поэтому важна грамотность руководителей в области ИИ. Лидеры, не умеющие отличить границы аналитики и ИИ, рискуют либо чрезмерно доверять системам, которых не понимают, либо недооценивать их из страха. История показывает, что происходит, когда руководители неправильно интерпретируют технологии: регуляторы однажды пытались запретить международные IP-звонки, но технология опередила правила. Текущая ситуация с ИИ развивается по тому же сценарию. Его нельзя блокировать или слепо внедрять; необходимы суждения, контекст и способность управлять им ответственно.

Руководители финтеха должны устранить эти пробелы, чтобы использовать ИИ ответственно и эффективно. Это включает понимание границ аналитики и ИИ, развитие навыков управления системами и применение здравого смысла при принятии решений о доверии их результатам.

Ограничения, слепые зоны и иллюзии ИИ

Аналитика анализирует прошлые и текущие данные, чтобы объяснить, что произошло и почему. ИИ развивается из этой базы, используя продвинутую аналитику для прогнозирования будущих событий и, все чаще, для автоматического принятия решений или действий.

Благодаря своим исключительным возможностям обработки данных, легко понять, почему руководители финтеха видят в ИИ свое волшебное решение. Но он не способен решить все проблемы. Люди по-прежнему обладают врожденным преимуществом в распознавании шаблонов, особенно когда данные неполные или «грязные». ИИ может испытывать трудности с интерпретацией контекстуальных нюансов, которые человек быстро уловит.

Тем не менее, ошибочно считать, что несовершенные данные делают ИИ бесполезным. Аналитические модели могут работать с неполными данными. Но настоящая сложность — знать, когда применять ИИ, а когда полагаться на человеческое суждение для заполнения пробелов. Без этого тщательного контроля ИИ может создавать значительные риски.

Одной из таких проблем является предвзятость. Когда финтехи обучают ИИ на устаревших наборах данных, они зачастую наследуют их «багаж». Например, имя клиента может случайно служить прокси для пола, или фамилия — для этнической принадлежности, что искажает кредитные рейтинги и не одобряется регуляторами. Эти предвзятости, легко скрытые в математике, часто требуют человеческого контроля для обнаружения и исправления.

Когда модели ИИ сталкиваются с ситуациями, на которых их не обучали, возникает сдвиг модели (model drift). Волатильность рынка, изменения в регулировании, эволюция поведения клиентов и макроэкономические сдвиги могут снижать эффективность модели без постоянного мониторинга и перенастройки человеком.

Трудность перенастройки алгоритмов возрастает, когда финтехи используют «черные ящики», не позволяющие видеть взаимосвязи между переменными. В таких случаях теряется возможность передать эти знания руководству. Кроме того, ошибки и предвзятости остаются скрытыми в непрозрачных моделях, что подрывает доверие и соблюдение нормативных требований.

Что должны знать руководители финтеха

Исследование Deloitte показало, что 80% считают, что их советы директоров практически не имеют опыта работы с ИИ. Но руководители высшего звена не могут позволить себе рассматривать ИИ как проблему только технической команды. Ответственность за ИИ лежит на руководстве, поэтому финтех-лидерам нужно повышать свою квалификацию.

Межаналитическая грамотность

Перед внедрением ИИ руководители должны уметь переключаться — смотреть на цифры, бизнес-кейс, операционные процессы и этику — и видеть, как эти факторы пересекаются и формируют результаты ИИ. Они должны понять, как статистическая точность модели связана с кредитным риском. И распознавать, когда переменная, казалось бы, финансово обоснованная (например, история погашений), может создавать социальные или регуляторные риски через корреляцию с защищенными классами, такими как возраст или этническая принадлежность.

Эта грамотность достигается через совместную работу с сотрудниками по соблюдению нормативных требований, обсуждение с менеджерами по продуктам пользовательского опыта и совместный анализ результатов моделей с учеными-данными для выявления признаков сдвигов или предвзятости.

В финтехе полностью исключить риски невозможно, но с помощью межаналитической грамотности руководители могут определить, какие риски оправданы, а какие могут разрушить стоимость для акционеров. Этот навык также помогает выявлять и устранять предвзятость не только с точки зрения соблюдения нормативных требований, но и с этической и стратегической позиций.

Например, если модель кредитного скоринга, основанная на ИИ, сильно смещена в сторону одной группы клиентов, исправление этого дисбаланса — не только задача аналитика; это защищает репутацию компании. Для финтехов, ориентированных на финансовую инклюзию или сталкивающихся с ESG-критериями, одного соблюдения закона недостаточно. Суждение означает знать, что правильно, а не только что разрешено.

Грамотность в объяснимости

Объяснимость — основа доверия. Без нее руководители, клиенты и регуляторы задаются вопросом, почему модель пришла к определенному выводу.

Это означает, что руководители должны уметь отличать интерпретируемые модели от тех, которым нужны постфактум объяснения (например, SHAP или LIME). Они должны задавать вопросы, когда логика модели не ясна, и понимать, что «точность» не всегда оправдывает использование «черного ящика».

Предвзятость не появляется из ниоткуда; она возникает, когда модели обучаются и внедряются без должного контроля. Объяснимость дает руководителям возможность обнаружить эти проблемы на ранних стадиях и принять меры, прежде чем они нанесут ущерб.

ИИ — это как автопилот в самолете. В большинстве случаев он работает гладко, но при шторме пилот должен взять управление. В финансах тот же принцип применим: команды должны иметь возможность остановить торговлю, скорректировать стратегию или даже отменить запуск продукта, когда условия меняются. Объяснимость работает в паре с готовностью к вмешательству, что гарантирует, что руководители понимают ИИ и остаются у руля, даже при масштабных операциях.

Модельное мышление с вероятностным уклоном

Руководители привыкли к детерминированным решениям: если кредитный рейтинг ниже 650, заявку отклонить. Но ИИ работает иначе, и это — серьезный сдвиг в мышлении.

Для руководителей вероятностное мышление требует трех навыков:

• интерпретировать диапазоны рисков, а не бинарные «да/нет»;
• оценивать уровень доверия к прогнозу в контексте других бизнес-или регуляторных факторов;
• знать, когда нужно вмешаться и применить человеческое суждение.

Например, вероятностная модель финтеха может указать, что клиент — высокий риск, но это не обязательно означает «отказать». Возможно, стоит «провести дополнительное расследование» или «скорректировать условия кредита». Без этой тонкости автоматизация рискует стать грубым инструментом, подрывающим доверие клиентов и вызывающим регуляторные санкции.

Почему слой суждения определит победителей финтеха

Будущее финтеха не будет определяться теми, у кого самые мощные модели ИИ, а теми, кто использует их с наибольшей точностью и мудростью. По мере того как ИИ становится товаром, преимущества в эффективности — это базовые требования. Разделяющими успех является способность вмешиваться, когда алгоритмы сталкиваются с неопределенностью, рисками и этическими дилеммами.

Слой суждения — это не абстрактная идея. Он проявляется, когда руководители решают приостановить автоматическую торговлю, задержать запуск продукта или отменить риск-оценку, которая не учитывает реальный контекст. Эти моменты — не сбои ИИ; это доказательство того, что человеческий контроль — последний источник ценности.

Стратегическая согласованность превращает суждение в институциональную практику. Хорошая стратегия ИИ не только создает технические дорожные карты; она обеспечивает регулярный пересмотр инициатив, повышение компетенций команд, наличие необходимой архитектуры данных и связывает каждое внедрение с четкими бизнес-целями. В этом смысле суждение — не эпизодическая деятельность, а встроенная часть операционной модели, позволяющая руководителям вести лидерство, основанное на ценностях.

Финтехам нужны лидеры, умеющие балансировать между скоростью и масштабируемостью ИИ и человеческим фактором — контекстом, нюансами и долгосрочным видением. ИИ может обнаружить аномалии за секунды, но только человек решит, когда нужно отказаться от математики, переосмыслить предположения или рискнуть ради роста. Этот слой суждения превращает ИИ из инструмента в конкурентное преимущество.

Об авторе:

Гильермо Дельгадо — глобальный лидер по ИИ в Nisum и операционный директор Deep Space Biology. С более чем 25-летним опытом в биохимии, искусственном интеллекте, космической биологии и предпринимательстве он разрабатывает инновационные решения для благополучия человека на Земле и в космосе.

В качестве консультанта по корпоративной стратегии он участвовал в формировании видения NASA по ИИ для космической биологии и получал награды за инновации. Имеет степень магистра наук в области искусственного интеллекта, полученную с отличием в Georgia Tech. Также он преподавал курсы по машинному обучению, большим данным и геномной науке.