Галлюцинации нейросетей: кто отвечает за ошибку ИИ

Галлюцинации нейросетей: кто отвечает за ошибку ИИ

Нейросеть отвечает уверенно всегда. Тон один и тот же, когда она пересказывает ваш документ и когда придумывает пункт, которого в документе нет. Разница вылезает позже, когда по такому ответу принято решение и потеряны деньги.

Дальше начинается спор: виноват разработчик модели, сервис, через который к ней обратились, или сотрудник, который отправил ответ клиенту. Спор бесполезен, пока в компании нет двух вещей. Первая: замер, как часто и на чем ошибается конкретная система. Вторая: место, где живой человек ставит подпись под результатом.

Покажем обе на своих данных, включая три случая, когда мы сами пропустили выдуманное в продакшен.

Что такое галлюцинация нейросети и почему она звучит убедительно

Языковая модель не хранит факты списком и не проверяет их перед ответом. Она подбирает продолжение текста, которое статистически похоже на правильное. Если в обучающих данных встречался похожий по форме кусок, модель воспроизведет форму, а содержимое подставит правдоподобное.

Отсюда главное свойство галлюцинации: она выглядит ровно так же, как верный ответ. Та же структура, та же уверенность, те же реквизиты. Выдуманная ссылка имеет вид настоящей ссылки. Выдуманный номер приказа состоит из тех же цифр и косых черт, что настоящий.

Человек читает такой ответ и опирается на форму, потому что проверять форму быстрее, чем содержание. Поэтому ошибки модели проходят приемку чаще, чем ошибки живого исполнителя: у живого исполнителя неуверенность видна по тексту, он оговаривается и переспрашивает.

В бизнесе выдумки собираются в трех местах: числа, реквизиты документов и пересказ условий договора. Везде модель заполняет пробел правдоподобным на вид содержимым. Эти три места и проверяют руками в первую очередь.

Частота галлюцинаций падает, если сузить задачу: дать модели исходный документ, запретить выходить за его пределы, попросить цитату вместо пересказа. Про приемы постановки задачи есть отдельный разбор, как формулировать запрос, чтобы модель реже додумывала. Ни один прием не убирает выдумки до нуля, и процесс надо строить исходя из этого.

Кто отвечает за ущерб: разработчик, сервис или тот, кто подписал

Начинать стоит с вопроса, который проверяется без юриста: с кем у пострадавшего договор.

Общие нормы Гражданского кодекса про убытки устроены так: пострадавший доказывает нарушение обязательства, размер убытков и причинную связь между первым и вторым. Вина нарушителя предполагается, и снимать ее с себя приходится ему самому. По договору возмездного оказания услуг исполнитель отвечает перед заказчиком за услугу, а не за инструмент, которым она сделана.

Отсюда практический вывод. Нейросеть не является стороной обязательства, у нее нет ни имущества, ни воли, ни подписи. Отвечает тот, кто взял ее ответ, поставил под ним свое имя и передал дальше. Внутри компании работает то же правило: подпись на выходе и есть точка ответственности.

Дисклеймер сервиса: что он закрывает, а что нет

В условиях использования почти любого ИИ-сервиса написано, что ответы могут быть неточными и требуют проверки. Оговорка работает в паре «сервис и пользователь». Она ограничивает то, что пользователь вправе требовать от сервиса.

На ваши отношения с клиентом она не влияет. Клиент купил у вас отчет, консультацию или расчет. Он не подписывал условия использования модели, не выбирал ее и часто не знает, что вы ей пользовались. Ссылка на чужой дисклеймер в разговоре с ним читается как признание: взяли непроверенный источник и передали дальше.

Характер совета меняет цену вопроса, но не схему. Совет про цвет кнопки и совет про налоговую схему различаются размером убытков и тем, насколько просто доказать причинную связь. Отвечает в обоих случаях тот, кто подписал.

Про судебную практику скажем как есть: проверенной практики по взысканию убытков именно за совет нейросети у нас нет. Мы не нашли решений, которые могли бы прочитать целиком и проверить сами, а пересказы чужих пересказов в статью не берем. Пока такой практики нет, спор будет разбираться по обычным правилам о качестве услуг и убытках. Исход зависит от договора и от того, что вы сможете показать в свою защиту: регламент проверки, следы этой проверки, подпись ответственного.

Сколько ошибается система, которую мы сделали сами

Мы делаем детектор персональных данных guard. Он ищет в тексте паспорта, СНИЛС, ИНН, телефоны и адреса, чтобы замаскировать их до отправки во внешнюю модель. 20 августа 2026 года мы прогнали прод-версию по бенчмарку из 2867 сообщений с 4585 размеченными сущностями. Среднее покрытие 92,5 %. Пользоваться этим числом в одиночку нельзя, и вот почему.

Среднее прячет главное. Там, где у данных жесткий формат, работают регулярные выражения с проверкой контрольных цифр, и покрытие держится от 96,7 %. Там, где формата нет, работает NER, и система проседает: ФИО 87,3 %, адреса 86,5 %. На три категории без формата приходится 287 пропусков из 344 и 231 ложное срабатывание из 301. Внутри адреса разброс еще заметнее: улица 94,3 %, дом 82,6 %, город 81,2 %, район 80,7 %. Полноту автоматического обнаружения персональных данных мы не гарантируем и пишем это в договор.

Одна строка замера показывает 100 %, и наружу мы ее не выносим. За ней стоит один размеченный кейс и 14 ложных срабатываний: тринадцати- и пятнадцатизначные числа система тянет как ОГРН. Сто процентов на одном примере это не результат, а отсутствие данных.

Отдельная оговорка про стенд. Публичный демо-стенд guard.eq.team и прод это разные сборки, и цифры со стенда показателем прода не являются. Мы сами на этом обожглись: до 20 августа 2026 года на посадочной странице стояли числа со стенда, снятые по другой методике. В тот же день, когда сделали прод-замер, мы их заменили и пометили старый файл как непригодный для цитирования.

Пока у вас нет такой же таблицы по вашей системе, разговор об ответственности держится на ощущениях, а в споре ощущения не предъявишь.

Три наших промаха, которые прошли в продакшен

Разбирать чужие провалы дешево. Поэтому три своих: все прошли внутреннюю проверку и попали наружу.

Общее у трех случаев одно: ни один не поймала автоматика. Все три поймал человек, который задал вопрос «откуда это число» и пошел искать файл. Первый случай прожил 268 дней именно потому, что такого вопроса никто не задавал: текст выглядел законченным, цифры выглядели как цифры.

Второй случай показателен формой. Заглушка «1 240 фрагментов ПДн» была макетом, а не ложью. Опасной ее сделала правдоподобность: 1 240 вопросов не вызывает, прочерк вызывает.

Переписанный материал, из которого мы сняли три цифры, лежит на сайте: мифы об ИИ-безопасности и что показал наш замер. Там же видно, чем заменили снятое.

Ступени доказательства: как мы помечаем каждую цифру

После первого случая у нас появилась разметка. Рядом с каждым утверждением стоит ступень, и она пишется прямо в рабочем файле.

Правило одно: утверждение без ступени наружу не выходит. У этой статьи рядом с текстом лежит таблица источников, где у каждого числа есть строка: значение, ступень, файл, дата замера.

Разметка нужна не для отчетности, а для одного конкретного момента: когда в споре спрашивают, откуда взято число. Ответ «так пишут в отрасли» проигрывает ответу «прогон от 27 июля 2026 года, 2867 кейсов, вот файл». Внутри компании эта же разметка отсекает половину галлюцинаций до публикации, потому что модель не умеет приложить к выдуманному числу путь к файлу.

Где ставить человека: контур проверки перед публикацией

Контур проверки не означает «читать внимательнее». Это несколько мест, где работа останавливается и кто-то ставит отметку.

1. Источники до текста

   Задача получает список файлов, выгрузок и ссылок до того, как модель начала писать. Работать разрешено по ним, добавлять свои источники нельзя.

2. Разметка чисел

   Каждому числу в черновике проставляют ступень и путь к файлу. Числа без ступени вычеркиваются, а не смягчаются словом «около».

3. Проверка на приемке

   Человек берет три-пять самых громких утверждений и ищет первоисточник. Не нашел за пять минут, утверждение снимается.

4. Подпись

   Под внешним текстом стоит имя человека, который за него отвечает. Здесь ответственность перестает быть абстрактной.

Пример из практики. 22 июля 2026 года агент разбирал наши рекламные запросы и предложил список на отсечение. Человек проверил список и утвердил его: отсечено 90,2 % мусорного расхода, 1184 ₽ из 1312,63 ₽. Работу сделала автоматика, решение принял и подписал человек. Такой шаг ловит предложения, которые выглядят разумно и разумными не являются, а заодно оставляет след: видно, кто и когда согласился.

Контур не обязан быть тяжелым. Для большинства процессов достаточно четырех точек выше и правила про прочерк вместо правдоподобного числа. Разбор конкретного процесса и расстановку точек мы делаем в рамках аудита ИИ-процессов: смотрим, где текст выходит наружу и кто в этот момент за него отвечает.

Что записать в регламент и в договор с подрядчиком

Регламент внутри компании держится на четырех пунктах, каждый в одну строку.

• Какие задачи модели решают сами, а какие уходят к специалисту до отправки клиенту.
• Кто ставит подпись под результатом и где эта подпись фиксируется.
• Как обращаемся с числами и ссылками: правило источника и ступени.
• Как хранятся черновики и следы проверки, чтобы через полгода можно было показать, что проверка была.

В договоре с подрядчиком обычно не хватает трех вещей. Первая: прямо написано, что в работе применяются языковые модели, и указано, какие данные им передаются. Вторая: зафиксировано, кто проверяет результат и что считается принятой работой. Третья: метрики качества описаны с методикой, а не одним процентом.

Третий пункт стоит расшифровать. Если подрядчик показывает одну цифру точности, спрашивайте: на какой выборке, по какому критерию засчитан успех, какая разбивка по категориям и сколько ложных срабатываний. У нас среднее 92,5 % и 86,5 % на адресах в одном и том же прогоне, и второе число для задачи маскирования важнее первого. Подрядчик, который не может показать такую разбивку, либо не мерил, либо выбрал удобную строку.

Отдельно про следы. Черновик, список источников и отметка о приемке живут в системе задач с датами. Через год претензию встречает не устное «мы проверяли», а файл с датой и именем.

Если через ИИ проходят персональные данные, добавляется отдельный слой требований к каналу. Про него есть разбор: персональные данные в ИИ-канале и проект приказа ФСТЭК. Когда контур описан, его собирают в рабочую систему: агентов под процессы ставят сразу с точками остановки внутри, а не приделывают проверку потом.

Сколько стоит контур проверки

Контур собирается из независимых частей, и цена зависит от того, что у вас уже есть.

Ставка 2 500 ₽/ч, оплата по факту сделанного, без аванса. Пресейл-прогон бесплатный: берем ваши реальные тексты и показываем, что нашли на этой выборке, до того как вы приняли решение о бюджете. Полноту автоматического обнаружения персональных данных мы не гарантируем ни в одном варианте работ и пишем это в договор.

Ниже вопросы, которые чаще всего звучат на первом созвоне.