OpenAI и Anthropic разрабатывают планы на случай масштабных катастроф из-за ИИ

Крупнейшие игроки в сфере искусственного интеллекта, компании OpenAI и Anthropic, начали активно готовиться к возможным техногенным кризисам, вызванным развитием их собственных технологий. Руководители ИИ-индустрии опасаются, что в ближайшие 6–12 месяцев может произойти масштабный инцидент, способный нарушить работу банковской системы, интернета, энергетики и других элементов критической инфраструктуры. Речь идет не о фантастическом восстании машин, а о вполне реальных технических сбоях и злоупотреблениях технологиями.

Одной из главных угроз эксперты называют кибератаки с использованием нейросетей. Современные ИИ-инструменты позволяют злоумышленникам автоматизировать поиск уязвимостей и масштабировать атаки на финансовые и государственные учреждения. В качестве примера приводится недавний инцидент в Южной Корее, где хакеры использовали китайские модели DeepSeek для кражи данных клиентов банков, а затем обращались к ИИ-ассистенту Claude Code от Anthropic для поиска площадок сбыта этой информации. Другой серьезный риск связан с автономными ИИ-агентами, которые могут выйти из-под контроля разработчиков в процессе тестирования или начать выполнять незапланированные действия.

Помимо чисто технических и инфраструктурных угроз, создатели ИИ опасаются сокрушительного удара по репутации всей отрасли. Первый же крупный инцидент, доказанно связанный с выходом нейросети из-под контроля или ее опасным использованием, мгновенно уничтожит доверие общества и политиков к технологии. Под жестким давлением окажутся не только сами технологические гиганты вроде OpenAI, но и администрация президента США, которая придерживается мягкого подхода к регулированию ИИ-сферы.

Чтобы минимизировать риски, компании уже сейчас принимают превентивные меры. В OpenAI подтвердили, что регулярно проводят внутренние учения, в ходе которых сотрудники моделируют различные кризисные сценарии и отрабатывают алгоритмы реагирования. В компании подчеркивают, что такие катастрофы не являются неизбежными, но подготовка к ним необходима. Anthropic официально отказалась комментировать свои действия, однако, по имеющимся данным, также участвует в обсуждении мер безопасности.

Возможные кризисы могут подтолкнуть власти к введению жестких мер регулирования, которые уже обсуждаются с законодателями. Среди потенциальных решений рассматриваются временная заморозка разработки наиболее мощных моделей, ограничения на создание сверхинтеллекта и даже создание механизмов экстренного отключения продвинутых систем. Впрочем, эксперты признают, что единой «красной кнопки» для ИИ не существует, особенно когда речь идет о моделях с открытым исходным кодом, которые физически невозможно контролировать из единого центра после публикации в сети.