Учёные Университета Решетнева разработали новую методику, позволяющую выявлять и устранять недостоверные или вымышленные сведения в работе нейросетей. Разработка может найти применение в образовании, на портале «Госуслуги», а также в медицинской и юридической сферах, сообщили РИА Новости в вузе.

Проблема «галлюцинаций» в искусственном интеллекте

Специалисты отмечают, что нейросети часто генерируют убедительные, но ложные ответы — явление, известное как «галлюцинации». Для минимизации риска используются RAG-системы (Retrieval-Augmented Generation), где модель сначала извлекает данные из базы знаний, а затем формирует ответ. Однако даже такой подход не гарантирует абсолютной точности: ошибки могут возникать из-за опечаток, противоречивых запросов или неполной информации в хранилище.

Новый подход к проверке достоверности

Команда под руководством доцента кафедры систем автоматизированного и интеллектуального обеспечения Анастасии Поляковой провела анализ типичных ситуаций, приводящих к «галлюцинациям», и создала классификатор таких случаев. На его основе был разработан автоматизированный пайплайн стресс-тестирования: система генерирует тестовые запросы, сравнивает полученные ответы с эталонными и оценивает их точность с помощью специальных метрик и анализа семантического сходства.

Реальный мониторинг без задержек

Центральным достижением стал прототип модуля мониторинга, работающего в режиме реального времени. Он фиксирует все входящие запросы и контекст диалога, анализирует вероятность выдачи неверной информации и присваивает модели оценку уверенности. При обнаружении ошибки или низкой степени уверенности модуль автоматически информирует оператора.

Универсальность и масштабируемость

Особое внимание уделяется универсальности методики: она не зависит от конкретной нейросети и может быть адаптирована для использования в различных областях. Возможные применения включают чат-боты для абитуриентов, сервисы на платформе «Госуслуги», а также помощники в медицинской и юридической практике.

По материалам: Ria.ru