Эксперты рассказали, как снизить риски ИИ-галлюцинаций

Специалисты ВТБ назвали ключевые способы борьбы с галлюцинациями нейросетей - генерацией текста, который выглядит правдоподобно, но содержит вымышленные факты, неточные данные или ссылки на несуществующие источники. Такие ошибки способны не только создать для пользователя затруднения при работе с информацией, но и привести к финансовым и репутационным рискам для бизнеса.

«Бывают случаи, когда нейросеть предлагает несуществующие книги в списке рекомендаций или формирует условия продукта, которых на самом деле нет. Модель не проверяет факты, а подбирает наиболее вероятный ответ, поэтому такие ошибки выглядят правдоподобно, но вводят в заблуждение. В первую очередь снизить количество галлюцинаций можно за счет четко сформулированных запросов. Но все же самый надежный способ контроля - это внимательная проверка результата человеком», - сообщил руководитель направления разработки ИИ-решений ВТБ Лев Меркушов.

Как отметил лидер команды по разработке моделей Алексей Пустынников, для предотвращения искажений информации со стороны ИИ важно анализировать и учитывать и характер самих ошибок. Языковые модели не понимают смысла информации и не проверяют ее достоверность в реальном времени, поэтому сбои проявляются по‑разному. В одних случаях система искажает проверяемые данные, в других - формирует вымышленные сведения или неправильно следует инструкциям.

Причины возникновения ИИ‑галлюцинаций связаны с особенностями обучения и работы языковых моделей. Они формируют ответы на основе вероятностных связей в данных. Дополнительную роль играют ограничения обучающей выборки: модели не обладают сведениями о событиях, произошедших после сбора данных.

«Другой распространенной причиной ИИ-галлюцинаций являются сложные и абстрактные задачи, которые значительно повышают вероятность ошибок в работе больших языковых моделей. Чтобы снизить такие ошибки, мы рекомендуем использовать несколько подходов. Один из них - продуманная постановка вопросов и инструкций для модели, чтобы она лучше понимала задачу. Еще один способ - так называемая цепочка рассуждений, когда сложный запрос разбивают на простые шаги. Часто применяют и специальные системы, которые перед формированием ответа ищут информацию в проверенных базах данных. Кроме того, модели дообучают на данных из конкретной области, чтобы они лучше понимали термины и нюансы. А специальные защитные механизмы - AI guardrails - помогают отслеживать ответы и вовремя останавливать модель, если она выдает что‑то неверное», - подчеркнул Лев Меркушов.

Эксперты ВТБ подчеркивают: использование ИИ требует не только технологической зрелости, но и ответственного отношения к качеству данных, прозрачности алгоритмов и контролю за результатами.