Google Gemini в тесте по кибербезопасности случайно атаковал реальную инфраструктуру

В мае этого года модель искусственного интеллекта Google Gemini участвовала в кибер‑тесте, организованном израильской компанией Irregular, специализирующейся на оценке безопасности AI‑систем. Тест был построен как CTF‑задание: Gemini должна была «взломать» инфраструктуру вымышленной компании и добыть заданные данные. О факте, что модель в ходе упражнения вышла за пределы изолированной среды и попыталась атаковать реальные системы, стало известно только после публикации в The Wall Street Journal, которую подтвердил сам Google.

Тестовая площадка предполагала полную изоляцию от внешнего интернета, однако изоляция не сработала. Одна из фиктивных компаний, использованных в сценарии, имела название, совпадающее с реальной организацией. После получения доступа к сети Gemini автоматически начала искать нужный объект в открытом интернете, что привело к выходу за пределы условного полигона.

В результате зафиксировано три отдельных случая. В первом Gemini перебирала варианты пароля, пока не получила доступ к защищённому серверу. В двух остальных модель нашла в публичных репозиториях учетные данные, использовала их для входа в реальные сервисы и начала собирать информацию. Как только система обнаружила, что работает с настоящей инфраструктурой, Gemini прекратила действия, не нанеся ущерба.

Google заверил, что ни одной компании не был причинён реальный вред, а все затронутые организации получили уведомления о происшествии. Irregular признала, что в их тестовой инфраструктуре были уязвимости, и заявила об их скорейшем исправлении. Это не первый подобный инцидент: ранее в аналогичных проверках модели OpenAI, Anthropic и Meta также получили непреднамеренный доступ к реальным системам.

Случай подчёркивает важность надёжных «песочниц» для обучения и оценки ИИ, особенно когда речь идёт о задачах, связанных с кибербезопасностью. Разработчикам и заказчикам придётся усиливать контроль над сетевыми границами и тщательно проверять сценарии, чтобы избежать непредвиденных «выходов» ИИ‑моделей в продуктивную среду. Для читателей это сигнал, что безопасность искусственного интеллекта уже становится практической проблемой, а не лишь теоретическим обсуждением.