Нейросеть редко говорит «я не знаю»: как проверить материал, сделанный с помощью ИИ

⚡ Коротко

Нейросеть пишет тексты, справки и отчёты быстро и убедительно. Но когда её знание заканчивается, она не останавливается и не сообщает об этом — просто продолжает писать тем же уверенным тоном, выдавая правдоподобное за факт.

Разбираю, почему так устроено, чем это заканчивается на практике и как проверить любой присланный материал за десять минут, не разбираясь в предмете самому.

🚗 Чем это отличается от навигатора

Автомобильный навигатор, доехав до края карты, говорит: маршрут не найден. Он умеет сообщать, что дальше дороги не знает, и вы сразу понимаете, что дальше едете сами.

У нейросети такой сигнал тоже есть, но работает он ненадёжно. В 2025 году исследователи Anthropic разобрали, как модель решает, отвечать или нет. Оказалось, что по умолчанию в ней включён режим «не могу ответить», а выключает его ощущение знакомости: имя, термин или номер кажутся модели известными, и она начинает отвечать. Если знакомым выглядит то, о чём реальных знаний нет, режим «не знаю» выключается по ошибке, и модель уверенно пишет выдумку.

Исследователи OpenAI в том же году объяснили, почему так выходит: при обучении и сравнении моделей угадывание вознаграждается сильнее, чем честное «не знаю». Со стороны это похоже на навигатор, который иногда честно говорит «дороги нет», а иногда тем же спокойным голосом ведёт по дороге, которой нет.

Всё остальное в статье — следствия из одного этого свойства.

📌 Три ситуации, в которых это уже случалось

Первая. Сотруднику нужна ссылка на норму закона. Он спрашивает у нейросети и получает номер статьи с цитатой. Номер выглядит правдоподобно, цитата написана юридическим языком. На деле статья с таким номером говорит о другом, а цитаты не существует. Выясняется это в переписке с контрагентом.

Вторая. Готовится справка к совещанию, в ней фраза «по данным исследования такого-то года — 68%». Исследование существует, организация существует, год верный. Другая в нём только цифра. Замечает это на совещании человек, который это исследование читал.

Третья. Текст для сайта описывает услугу и упоминает оборудование, которого в компании нет. Ошибку находит клиент, приехавший именно за этим.

Общее у всех трёх историй одно: ошибку нашёл не тот, кто принимал работу. Внутри всё выглядело нормально — грамотно, связно, по делу.

🧭 Почему это не заметно на глаз

Насколько дорого обходится этот сбой, измерено. В 2023 году Гарвардская школа бизнеса вместе с Boston Consulting Group провела полевой эксперимент на 758 консультантах, примерно семи процентах всех рядовых консультантов компании. Модель тогда была GPT-4. Участников разделили на две группы, и в каждой часть работала с моделью, часть без. Первая группа решала задачи внутри зоны компетентности модели, и результат был впечатляющим: на 12,2% больше выполненных задач, на 25,1% быстрее, качество выше более чем на 40% (данные рабочей версии исследования 2023 года).

Вторая группа получила задачу, специально подобранную за пределами этой зоны. Здесь консультанты, работавшие с моделью, оказались на 19 процентных пунктов реже правы, чем коллеги вообще без неё: 84,5% верных ответов без модели против 70,6% и 60% в двух вариантах работы с ней. Модель не просто не помогла, она сделала подготовленных профессионалов хуже, чем они были сами по себе.

Причина в том, что граница невидима, и это тоже измерено. В итоговой публикации исследования (журнал Organization Science, 2026) ответы на задачу за пределами зоны оценили отдельно, не сообщая проверяющим, какое решение верное. Ответы, подготовленные с моделью, получили более высокие оценки связности и убедительности, чем ответы без неё: на 25,1% и 17,9% выше в двух вариантах. Это касалось и неверных ответов. Ошибка, сделанная с моделью, выглядела убедительнее ошибки, сделанной без неё, поэтому по самому тексту невозможно понять, с какой стороны границы вы находитесь.

Именно поэтому уверенное изложение так эффективно вербует доверие.

📉 Цифра, которой не существует: пример из моей практики

Простая рабочая задача: собрать список запросов, по которым люди ищут услугу, и понять, сколько раз в месяц каждый из них вводят. Модель отвечает на это охотно и мгновенно: список, рядом столбец частоты, всё аккуратно, ровными числами.

Только этих чисел нет ни у кого, кроме самой поисковой системы. Она отдаёт их через собственный инструмент, по конкретному региону и за конкретный период. Другого источника не существует. Значит, любое число, названное без выгрузки, — правдоподобное, а не измеренное.

Разница между этими двумя словами стоит рекламного бюджета.

Поэтому порядок работы у меня закреплён жёстко. Сначала я составляю список формулировок, которыми человек может описывать нужную услугу: короткие и развёрнутые, с названием процедуры и с описанием жалобы, с городом и без. Затем по этому списку выгружаю из инструмента поисковой системы реальную статистику: сколько раз за месяц в выбранном регионе искали именно такую формулировку, а не все запросы, где встречаются те же слова. И только после этого начинаю работать с числами. Модель при таком порядке делает то, что делает хорошо: группирует, чистит и размечает по смыслу тысячи строк за минуты. Но исходные числа приходят с измерения, а не из текста.

Насколько это не теория, показывает другой случай. В одном из проектов я разбирал список запросов, переданный подрядчиком по поисковому продвижению. До 89% запросов в нём не имели спроса вовсе — их никто не вводит. При этом они присутствовали в ежемесячной отчётности как продвигаемые. Список был собран на объём, а не на спрос: работать по нему означало писать тексты под запросы, которых не существует. О том, как читать такие отчёты и не дать себя запутать, разбирал отдельно — как читать отчёты по рекламе.

Заметьте: там никакой нейросети могло и не быть, механизм тот же. Материал, собранный ради объёма и правдоподобия, проходит приёмку, если принимающий не может проверить исходные числа. Инструмент лишь удешевил производство такого материала до нуля.

💸 Чем это заканчивается, когда не проверил никто

В 2025 году консалтинговая компания Deloitte сдала правительству Австралии отчёт по анализу государственной информационной системы. Стоимость контракта — 440 000 австралийских долларов. В отчёте обнаружились ссылки на несуществующие научные работы реальных учёных и цитата из решения федерального суда, которой судья никогда не произносил.

Дальше три детали, каждая из которых важнее предыдущей.

Первая: ошибки нашёл не заказчик и не исполнитель, а сторонний исследователь, читавший отчёт по своей теме. Внутренняя приёмка пропустила всё.

Вторая: в исходной версии факт использования генеративной модели раскрыт не был. Он появился только в исправленной редакции, вышедшей после публичного скандала.

Третья: компания вернула заказчику 97 587 австралийских долларов — последний платёж по контракту. Финансовая потеря здесь наименьшая из потерь. Про эту историю написали деловые издания по всему миру, и теперь она открывает любую подборку про профессиональные риски работы с моделями. Восстановить это репутационное положение возвратом денег нельзя.

Речь, подчеркну, не о студенте-фрилансере. Речь об одной из крупнейших консалтинговых компаний мира, с процедурами контроля качества, юристами и репутацией, которую строили десятилетиями.

💡 Что обычно возражают

«Мы же прочитали, всё логично». Логичность и есть проблема. Модель учится прежде всего писать правдоподобно; честности её доучивают, но гарантии это не даёт. Читая, вы проверяете связность, а она у модели почти всегда высокая. Фактическую часть чтение не проверяет в принципе, для этого нужно открыть источник.

«Значит, пользоваться этим нельзя». Можно и нужно. В том же гарвардском эксперименте внутри зоны компетентности прирост качества превышал 40%. Вопрос не в том, применять или нет, а в том, кто определяет границу применения. Определить её может только человек, знающий предмет.

«У нас есть редактор, он вычитывает». Редактор ловит стиль, структуру и грамматику. Выдуманную ссылку на исследование он поймает, только если знает это исследование. Гладкий текст с несуществующей цифрой проходит редактуру идеально — он для этого и приспособлен.

«Специалист всё равно заметит». Не обязательно, и это самое неприятное. В гарвардском эксперименте ошибались не новички, а консультанты одной из самых требовательных к отбору компаний отрасли, на задаче, похожей на их обычную работу. Полагаться на модель их никто не обязывал, но многие пошли за её выводом. Авторы называют механизм прямо: чрезмерное доверие к выводу модели. Опыт от него не защитил.

🔎 Проверка за десять минут, без знания предмета

Это можно делать с любым присланным материалом — от подрядчика, от сотрудника, от агентства. Специальных знаний не требуется.

1. Выберите три числа наугад и запросите источник по каждому. Не «по данным исследований» и не «по отраслевой статистике», а название, год, организация и место, где это можно посмотреть. Одно число из трёх, оставшееся без адреса, — уже достаточный повод проверять весь документ построчно.
2. Откройте одну ссылку и прочитайте абзац. Не проверяйте, что страница открывается: выдуманная ссылка часто ведёт на реальный сайт. Проверяйте, что на странице написано то, что вам приписали.
3. Проверьте одно название нормы или документа. Номер закона, название стандарта, наименование регламента — ищутся поиском за минуту. Здесь ошибки встречаются чаще всего, потому что такие названия выглядят одинаково правдоподобно во всех вариантах.
4. Задайте автору один вопрос: что именно здесь вы проверили лично и по какому источнику. По качеству ответа станет ясно всё. Человек, работавший с материалом, отвечает конкретно и без раздражения. Человек, пересказавший вывод машины, начинает объяснять, как устроены нейросети.

📋 Что стоит зафиксировать заранее

Три пункта в договорённости с любым исполнителем, включая штатного сотрудника. Формулировки нужны до старта работы, а не после первого разбирательства.

1. Раскрытие. Использование моделей не запрещается, но указывается: где применялось и для чего. История с Deloitte стала публичной проблемой в том числе потому, что в первой редакции об этом не сообщили.
2. Список утверждений с обязательным источником. Всё, что содержит число, ссылку на исследование, норму права или чужое имя, сопровождается адресом, по которому это проверяется. Остальное — на усмотрение автора.
3. Запрет на числа без измерения. Данные спроса, трафика, расходов, долей рынка берутся из выгрузок и кабинетов. Если исполнитель приводит число, он называет систему, регион и период выгрузки. Число без этих трёх параметров считается не предоставленным.

🎯 Итог

Модель отличает знание от правдоподобия ненадёжно и сообщает о выходе за границу компетентности не всегда. Различить это может только человек, который знает предмет достаточно глубоко, чтобы заметить неправду в гладком тексте, и не ленится открыть источник.

Отсюда следствие, неприятное для расчёта на экономию. Внутри зоны, где модель сильна, она подтягивает слабых исполнителей сильнее, чем сильных: в гарвардском эксперименте прирост у нижней половины участников составил 43%, у верхней 17%. За пределами этой зоны она ухудшает результат даже у профессионалов и делает ошибки убедительными на вид. Защищает не стаж, а привычка проверять вывод модели по первичным данным.

Ошибка находится не в момент сдачи работы. Она находится позже — специалистом со стороны, клиентом или проверяющим. И в этот момент под вопросом оказывается не текст, а компетентность того, кто его подписал.

✅ Что запомнить

» У нейросети есть сигнал «не знаю», но он срабатывает ненадёжно — хуже всего на том, что выглядит знакомо.

» Связный текст не равен достоверному: чтение проверяет логику, а не факты.

» Каждое число требует адреса: название, год, организация и место, где проверяется.