- Ключевые выводы
- Почему сейчас нельзя откладывать безопасность ИИ на «потом»
- Теневая ИИ (shadow AI): скрытая угроза внутри организации
- Мультиоблачные среды: почему «один облако» — миф
- Традиционные модели защиты устарели: новые реалии атак
- Агентная защита: как машины защищают машины
- Проблема кадров: о «баг‑апокалипсисе» и нехватке специалистов
- Реальные кейсы: какие ошибки уже сделали пользователи Google Cloud
- Что делают провайдеры и как это соотносится с рекомендациями De Souza
- Практический чек‑лист по AI‑безопасности
- Справка
Ключевые выводы
- Безопасность ИИ — не дополнительный модуль, а фундаментальная часть стратегии, требующая единой платформы.
- Теневая ИИ (shadow AI) создаёт «слепые зоны», где сотрудники используют потребительские инструменты без контроля.
- Традиционные модели защиты слишком медленны; требуется агентно‑ориентированная защита, способная реагировать со скоростью машин.
- Мультиоблачные среды усложняют контроль, поэтому политики безопасности должны работать одинаково во всех облаках.
- Автоматическое повышение лимитов API‑ключей в Google Cloud может привести к неожиданным пятитысячным счетам.
В шуме конференций Лос‑Анджелеса я встретил Francis de Souza, COO Google Cloud. Его главный посыл прост: в эпоху ИИ безопасность — это ядро стратегии, а не надстройка. Он предупредил о «теневых» ИИ, рассказал, почему старые модели защиты уже не работают, и предложил агентные решения, способные защищать модели, данные и даже промпты. Но собственные практики облачных провайдеров пока отстают от этих рекомендаций.
Почему сейчас нельзя откладывать безопасность ИИ на «потом»
De Souza открыл разговор тем, что компании находятся в переходном периоде. По его мнению, уже сейчас «не будет места для полусерьёзных решений» – если вы только планируете внедрять ИИ, нужно сразу думать о защите.
Три основных аргумента:
- Данные + модели + безопасность = три кита стратегии. Без одного из них – стратегия не работает.
- Время реакции у атак сократилось до 22 секунд. То, что раньше занимало часы, теперь происходит мгновенно.
- Атака теперь выходит за пределы сети. Вектором стали модели, пайплайны данных, запросы к LLM и даже токены‑промпты.
Эти тезисы подкрепляются реальными примерами из новостей: компрометация API‑ключей Gemini, автоматическое повышение лимитов и задержки в отзыве ключей.
Теневая ИИ (shadow AI): скрытая угроза внутри организации
Термин «shadow AI» описывает ситуацию, когда сотрудники берут в руки доступные онлайн‑инструменты (ChatGPT, DALL‑E, Gemini) без согласования с IT. Такие сервисы часто работают вне контроля, а значит, данные попадают в «чёрный ящик».
Проблема в том, что такие инструменты могут:
- Не соблюдать требования к хранению и шифрованию данных.
- Создавать новые точки входа для атак (например, через веб‑интерфейсы).
- Собирать корпоративные инсайты и помещать их в сторонние репозитории.
De Souza советует: «требовать от платформ безопасности, управления и аудита с самого начала». Это значит, что любые ИИ‑инструменты должны проходить сквозную валидацию, а не просто «поместить в Slack».
Мультиоблачные среды: почему «один облако» — миф
Когда компании говорят о «едином облаке», они часто забывают о SaaS‑приложениях и партнёрских решениях, работающих в других провайдерских экосистемах. De Souza подчёркивает, что:
- Встроенные интеграции SaaS часто используют собственные API‑ключи.
- Партнёры могут хранить данные в Azure, AWS, Alibaba Cloud.
- Без единой политики контроля вы получаете разрозненные зоны безопасности.
Он советует построить «единую политику безопасности», которая будет действовать независимо от того, где находятся ресурсы: в Google Cloud, в AWS или в частных дата‑центрах.
Традиционные модели защиты устарели: новые реалии атак
Среднее время от начального взлома до дальнейших этапов сократилось с 8 часов до 22 секунд. Это показывает, что ручные процессы просто не успевают.
Новые векторы включают:
- Модели машинного обучения, которые могут стать «точкой доступа» к данным.
- Пайплайны данных, где каждый шаг – потенциальный узел утечки.
- Агенты и промпты, которые могут быть подслушаны или переиспользованы.
Поэтому De Souza предлагает «агентно‑нативную» защиту: специальные ИИ‑агенты, которые постоянно сканируют среду, обнаруживают аномалии и реагируют в реальном времени.
Агентная защита: как машины защищают машины
Идея проста: вместо того, чтобы ждать, пока человек увидит тревогу, система автоматически развёртывает «агента‑защитника», который:
- Мониторит доступ к моделям, пайплайнам и данным.
- Оценивает риски запросов (например, подозрительные промпты).
- Изолирует подозрительные процессы и отправляет сигнал оператору.
Эта модель уже применяется в некоторых крупных организациях, где «человек в петле» только подтверждает решения, а не принимает их с нуля. По словам De Souza, такой подход уже становится вопросом уровня правления: это обсуждается на уровне совета директоров, а не только ИТ‑отдела.
Проблема кадров: о «баг‑апокалипсисе» и нехватке специалистов
Пока компании пытаются построить агентные защиты, рынок страдает от острого дефицита квалифицированных специалистов. Как отмечает Lea Kissner, CISO LinkedIn, «будет нужен персонал, способный управлять баг‑апокалипсисом» – то есть быстро реагировать на уязвимости, появляющиеся в ИИ‑сервисах.
Это подчеркивает, что инвестиции в обучение и автоматизацию обязательны: без них организация рискует отставать от атак, которые разворачиваются быстрее, чем человек успевает прочитать билет.
Реальные кейсы: какие ошибки уже сделали пользователи Google Cloud
Последние недели принесли несколько громких инцидентов, связанных с API‑ключами Gemini:
- Rod Danan (CEO Prentus) получил счёт в $10 138 за 30 минут, когда злоумышленники использовали публичный ключ, ранее предназначенный для Google Maps.
- Isuru Fonseka из Сиднея увидел расходы в AUD 17 000, несмотря на установленный лимит $250 – автоматическое повышение уровня доступа API‑ключей сделало это возможным.
Google отозвал средства после публикации, но компания заявила, что менять политику автоматического повышения лимитов не собирается, поскольку считает, что «превентивное предотвращение сбоев важнее, чем контроль расходов».
Кроме того, исследователи Aikido обнаружили, что удалённый API‑ключ может оставаться действительным до 23 минут, пока отзывается по всей инфраструктуре. Это даёт атакующим достаточно времени для кражи файлов и кэшированных данных Gemini.
Новейшие форматы ключей (AQ‑prefixed) сокращают время отзыва до ~1 минуты, а сервисные аккаунты – до 5 секунд, показывая, что технически проблема решаема, но требует приоритетов.
Что делают провайдеры и как это соотносится с рекомендациями De Souza
Google, согласно заявлениям, работает над улучшением политики отзыва и более прозрачным уведомлением о повышении лимитов. Однако реальность такова, что «платформа догоняет требования бизнеса», а не наоборот.
Для компаний это значит, что полагаться только на обещания провайдера нельзя. Нужно:
- Внедрять внутренние системы контроля расходов (budget alerts, caps).
- Регулярно проверять права доступа к API‑ключам.
- Проводить аудиты на предмет «теневого» использования ИИ.
Только сочетание внутренней политики и внешних возможностей позволит избежать «неожиданных» пятитысячных счетов.
Практический чек‑лист по AI‑безопасности
Соберите команду из ИТ, безопасности и бизнес‑подразделений и пройдите пошагово:
- Определите данные и модели. Сформируйте реестр всех активов ИИ.
- Установите единую политику доступа. Ограничьте использование публичных API‑ключей.
- Внедрите мониторинг аномалий. Агентные решения для обнаружения необычных запросов.
- Обучите сотрудников. Поймите, что такое shadow AI и как его избежать.
- Контролируйте расходы. Настройте автоматические оповещения о превышении лимитов.
Справка
Francis de Souza — Chief Operating Officer Google Cloud, более 15 лет опыта в облачных технологиях, ранее руководил инфраструктурой в IBM и VMware. Является публичным выступающим по вопросам мультиоблачных стратегий и кибербезопасности.
Google Cloud — облачная платформа от Google, предлагает инфраструктуру, платформу и сервисы ИИ. Среди ключевых продуктов — Compute Engine, BigQuery, Vertex AI и Gemini.
Gemini — семейство больших языковых моделей (LLM) Google, предназначенных для генерации текста, кода и мультимедийных материалов. Доступно через API, но хранит пользовательские запросы в кэшах.
Shadow AI — термин, обозначающий использование сотрудниками неуправляемых ИИ‑инструментов (ChatGPT, DALL‑E и др.) без согласования с IT, что создаёт слепые зоны безопасности.
Multicloud — стратегия использования сервисов более чем одного облачного провайдера (Google Cloud, AWS, Azure) одновременно для повышения гибкости и отказоустойчивости.
Lea Kissner — Chief Information Security Officer компании LinkedIn, активно комментирует рост спроса на специалистов по ИИ‑безопасности и проблематику «bug‑apocalypse».
Итог ясен: в мире, где ИИ‑модели становятся новыми «периметрами», безопасность должна стать частью архитектуры, а не её надстройкой. Практикуйте агентные защиты, контролируйте расходы и не позволяйте теневому ИИ уходить в тень. Иначе ваши данные могут оказаться в чужих руках быстрее, чем успеет сработать любой чек‑лист.
