Почему детекторы ИИ-текста ошибаются и проигрывают войну против нейросетей

Проблема ложных срабатываний детекторов искусственного интеллекта становится всё более острой. Программы, созданные для распознавания сгенерированного текста, регулярно ошибаются, помечая классические произведения и академические работы как созданные нейросетями. Известны случаи, когда популярные сервисы анализа текста называли Библию продуктом жизнедеятельности искусственного разума. Это ставит под сомнение саму применимость подобных инструментов в образовательной и профессиональной сферах.

Из-за несовершенства алгоритмов ежегодно тысячи студентов во всем мире сталкиваются с необоснованными обвинениями в академической нечестности. Преподаватели безоговорочно доверяют показаниям детекторов и ставят неудовлетворительные оценки за эссе и курсовые работы, которые учащиеся писали самостоятельно от первого до последнего слова. Доказать свою правоту в таких условиях крайне сложно, поскольку механизмы принятия решений детекторами остаются непрозрачными для рядовых пользователей.

Параллельно на рынке сформировалась целая индустрия так называемых анти-детекторов. Это специализированные сервисы, которые перефразируют сгенерированный текст так, чтобы обмануть системы проверки. Разработчики этих инструментов постоянно совершенствуют свои методы, делая машинный текст практически неотличимым от человеческого. В этом противостоянии детекторы ИИ терпят поражение, так как генеративные модели развиваются гораздо быстрее, чем способы их обнаружения.

С точки зрения науки о машинном обучении, детекторы ИИ-текста изначально находятся в уязвимом положении. Большинство из них оценивают два основных параметра: недоумение (perplexity), отражающее степень непредсказуемости слов, и изменчивость (burstiness), оценивающую структуру предложений. Если человек пишет простым, чистым и грамматически правильным языком с однообразной структурой, алгоритм с высокой вероятностью примет его текст за генерацию большой языковой модели, обученной на идеализированных выборках.

В результате детекторы ИИ создают лишь иллюзию контроля, нанося реальный вред авторам оригинального контента. Поскольку современные нейросети стремятся к максимальному подражанию естественной человеческой речи, граница между искусственным и естественным текстом стирается окончательно. Текущие методы анализа не способны решить эту проблему фундаментально, и дальнейшее использование подобных детекторов без ручной проверки экспертами ведет лишь к росту числа ложных обвинений.