ВТБ и МГУ создали детекторы токсичности и галлюцинаций для ИИ-агентов
ВТБ совместно с Центром искусственного интеллекта МГУ разработал два детектора для контроля ИИ-агентов банка. Они будут проверять запросы клиентов на токсичность, а ответы цифровых помощников — на галлюцинации. Об этом рассказал на Kazan Digital Week советник первого заместителя президента-председателя правления ВТБ Сергей Путятинский.
Детектор токсичности анализирует запросы пользователей на наличие запрещенных тем, нарушений законодательства и контента 18+. Неэтичное сообщение система заблокирует и не будет обрабатывать, уточнили в банке.
Второй детектор распознает несоответствия и противоречия в уже сформированных ответах цифровых помощников и показывает, в какой части ответа они находятся. После этого специалисты ВТБ могут отправить ответ на повторную проверку или заблокировать его. В банке напомнили, что галлюцинации считаются одной из самых распространенных проблем генеративного ИИ: в таких случаях языковая модель выдает уверенный, но полностью вымышленный ответ.
«ВТБ продолжает совершенствовать качество цифровых помощников, которые напрямую общаются с клиентами. Такой ИИ-агент не должен поддаваться на провокационные формулировки, отвечать недостоверно или рекомендовать несоответствующие запросу финансовые продукты или услуги. Готовых решений, которые отвечали бы требованиям банка, на рынке не нашлось, поэтому ВТБ разработал собственные детекторы вместе с экспертами МГУ», — пояснил Путятинский.
Он подчеркнул, что внедрение моделей проверки — необходимая мера, чтобы сохранять высокий уровень обслуживания клиентов при активном использовании ИИ. Решения планируется использовать в сервисах розничного бизнеса банка, в которых с физическими лицами общаются цифровые помощники.
