Физики создали формулу для оценки безопасности локальных нейросетей

Популярность локальных языковых моделей, работающих непосредственно на смартфонах, ноутбуках и других клиентских устройствах (так называемый Edge AI), стремительно растет. Их главное преимущество — полная автономность и независимость от облачных серверов. Однако у этой медали есть обратная сторона: на таких устройствах отсутствуют мощные внешние фильтры безопасности, которые обычно контролируют работу облачных систем вроде ChatGPT. В критически важных сферах, таких как медицина, юриспруденция или военное дело, это создает серьезные риски генерации ложной или опасной информации.

Физики Нил Ф. Джонсон и Фрэнк Инцзе Хо из Университета Джорджа Вашингтона в США предложили оригинальный способ оценки таких угроз. В своем исследовании, опубликованном в научном журнале Patterns, они представили математическую формулу, которая позволяет рассчитать, в какой именно момент автономная языковая модель может переключиться с корректного и полезного ответа на потенциально вредоносный.

Для решения этой задачи ученые применили методы из физики твердого тела. Они сравнили внутренние процессы в нейросетях с поведением атомов в сложных кристаллических структурах. Исследователи математически упростили архитектуру нейросети до так называемого «эффективного механизма внимания». Этот компонент отвечает за то, как модель связывает разные слова в контексте и на какую информацию обращает наибольшее внимание при генерации очередного фрагмента текста.

Внутри нейросети данные передаются через центральный канал — остаточный поток, проходящий сквозь слои системы. При обработке запроса различные варианты продолжения текста конкурируют друг с другом. Физики представили желаемые и нежелательные варианты вывода в виде математических векторов, которые можно сравнить с впадинами на ландшафте. Формула описывает это соперничество и помогает определить критический порог, после преодоления которого модель неизбежно скатывается в область нежелательных и вредных ответов.

Главный вывод исследования заключается в том, что сбой в работе искусственного интеллекта редко происходит мгновенно. Модель может долгое время выдавать абсолютно адекватные и безопасные фразы, постепенно и незаметно накапливая контекст, который в итоге уводит ее в проблемную зону. Новая математическая модель позволяет точнее прогнозировать такие «срывы» и в перспективе поможет разработчикам создавать более надежные локальные системы ИИ без перегрузки устройств тяжелыми фильтрами.