OpenAI внедряет скрытую маркировку текстов от ChatGPT для пользователей из ЕС

Компания OpenAI приступила к внедрению незаметной маркировки для текстов, которые генерируют ChatGPT и Codex. Данное обновление затрагивает пользователей, находящихся на территории Европейского союза. Главной причиной такого шага стало вступление в силу жестких требований европейского закона об искусственном интеллекте. Этот нормативный акт обязывает разработчиков генеративных систем обеспечивать возможность автоматического определения контента, созданного искусственным интеллектом, чтобы пользователи четко понимали природу происхождения материалов.

Для реализации этой задачи применяется технология textGrain. Ее особенность заключается в том, что в материалы не внедряются посторонние символы, скрытые пробелы или странные знаки, которые можно было бы легко обнаружить или удалить. Вместо этого алгоритм меняет статистический выбор слов и токенов по определенной математической схеме. Специальный детектор анализирует эти закономерности и может с высокой долей вероятности определить, что перед ним текст из нейросети.

Ранее разработчики уже экспериментировали с подобными системами защиты, но откладывали их массовый запуск. Основными опасениями были возможные ложные срабатывания, способные навредить, например, студентам при проверке учебных работ. Теперь же закон требует компромиссов, и маркировка возвращается. Похожий подход для соблюдения европейских норм уже применяет компания Anthropic в своих моделях семейства Claude, адаптируясь под новые реалии рынка.

Внутренние тесты показывают, что новая система достаточно эффективна при работе с большими объемами информации. Детектор уверенно распознает около 80 процентов маркированных фрагментов длиной в 200 токенов и до 95 процентов для текстов из 400 токенов. Однако технология сохраняет уязвимость к простому ручному редактированию. Если переписать или заменить примерно четверть слов в материале, то точность обнаружения резко падает до 17 процентов, а сама система не способна точно показать пропорции участия человека и робота.