Когда ИИ уверенно врёт: что такое галлюцинации нейросетей

Галлюцинация ИИ — это когда языковая модель выдаёт информацию, которая звучит правдоподобно и уверенно, но фактически не соответствует действительности: несуществующая цитата, придуманная научная статья, неверная дата события или просто ошибочный факт, поданный без каких-либо признаков сомнения.

Откуда берутся галлюцинации

Языковая модель не «знает» факты в привычном смысле слова — она предсказывает наиболее вероятное продолжение текста на основе данных, на которых её обучали. Если модель никогда не встречала точный ответ на вопрос, она всё равно сгенерирует связный, грамматически правильный текст — просто он может оказаться выдумкой, которая статистически похожа на правду.

В каких ситуациях это особенно опасно

Риск особенно высок там, где нужны точные цифры, даты, юридические ссылки или цитаты конкретных людей — именно эти детали модель охотнее всего «додумывает», если не уверена. Также галлюцинации чаще возникают при вопросах о узких, малоизвестных темах, недавних событиях (которые могли произойти после завершения обучения модели) или когда пользователь настойчиво просит конкретный ответ там, где его на самом деле нет.

Как проверять ответы ИИ

• Просить у модели прямые ссылки на первоисточники — и переходить по ним, а не доверять пересказу
• Относиться с повышенным вниманием к точным числам, датам и именам собственным
• Перепроверять важные факты хотя бы в одном независимом источнике, особенно если решение основано на этой информации

Материал носит образовательный характер.