Специалисты Университета Решетнева изобрели новую методику, которая позволит россиянам снизить количество недостоверных данных в ответах ИИ.
Одной из наиболее серьезных проблем систем искусственного интеллекта остаются так называемые «галлюцинации», то есть ситуации, когда нейросеть выдает на первый взгляд убедительные факты, которые на самом деле являются ошибками. Обычно для уменьшения риска появления таких казусов используются RAG-системы (Retrieval-Augmented Generation), которые заставляют нейросеть обращаться к внешней базе знаний, избегая дезинформации.
Но даже такой подход не гарантирует полного отсутствия ошибок. Причиной неточностей могут быть опечатки, противоречивые запросы пользователей или недостаточно полная информационная база.
Для решения этой проблемы группа ученых под руководством доцента кафедры систем автоматизированного и интеллектуального обеспечения Анастасии Поляковой провела детальный анализ наиболее распространенных сценариев возникновения «галлюцинаций». На основе полученных данных они создали специальный классификатор ошибок, позволяющий выявлять различные типы некорректных ответов.
Следующим этапом стала разработка автоматизированной системы стресс-тестирования нейросетей. Новый инструмент самостоятельно формирует тестовые запросы, сопоставляет полученные ответы с эталонными данными и оценивает степень их точности.
Кроме того, был разработан прототип интеллектуального модуля мониторинга, который умеет работать в режиме реального времени. Система фиксирует все поступающие запросы и контекст общения пользователя с нейросетью, анализирует вероятность появления недостоверного ответа и присваивает результату специальный показатель уверенности. Если риск ошибки оказывается высоким или модель заметил недостаточную уверенность в своих выводах, система автоматически уведомляет об этом человека.
Разработчики считают, что одним из главных преимуществ новой методики является ее универсальность. Решение не зависит от конкретной языковой модели и может быть адаптировано для различных платформ и сервисов.
Благодаря этому технология может использоваться как в чат-ботах, так и в государственных цифровых сервисах, медицинских консультантах и юридических помощниках, где точность информации имеет особенно важное значение, пишет РИА Новости.
