ИИ-агенты уже принимают решения за человека: в Агентстве рассказали о новых рисках

ИИ-агенты уже принимают решения за человека: в Агентстве рассказали о новых рисках

По мере роста автономности ИИ-агентов финансовому рынку придется усиливать контроль за их решениями и защищать клиентов от новых угроз — от дискриминации и скрытых комиссий до атак, позволяющих обходить установленные ограничения. Об этом заявил первый заместитель председателя Агентства Тимур Абилкасымов на форуме AI & Digital Bridge 2026, передает vechastana.kz.

Он отметил, что надзор должен охватывать весь процесс работы ИИ-агентов: от целей и заложенных инструкций до принятия решений и их результатов. Ключевые приоритеты – прозрачность алгоритмов, контроль со стороны человека и защита клиентов от дискриминации, скрытых комиссий и навязывания дополнительных услуг.

«Наша задача – обеспечить максимальную прозрачность. Если агент выполняет свою функцию правильно, а человек остается в контуре принятия решений, устанавливает определенный уровень доверия, лимиты и условия, то такой подход вполне управляем. Но сегодня появляются более автономные агенты, которые способны самостоятельно принимать решения и формировать корзины продуктов и услуг.

Для таких агентов необходимо сформировать систему защиты от новых рисков, в том числе от скрытого jailbreak – атак через интерфейсы и коммуникацию с агентами, направленных на обход установленных ограничений. Пока такие механизмы защиты находятся на достаточно ранней стадии развития не только в банковском секторе, но и в мире в целом», – отметил Тимур Абилкасымов.

Он также рассказал о системе коллективного иммунитета от киберрисков Qainar, к которой подключены более 100 финансовых организаций. В рамках Qainar Агентство активно использует ИИ-агентов для анализа и структурирования информации о киберинцидентах и оперативного обмена данными об угрозах. Система помогает участникам рынка совместно реагировать на атаки и повышать киберустойчивость. Также Агентство расширяет применение собственных ИИ-агентов для контроля отдельных систем банков.