Итак, вы используете ChatGPT для анализа своих финансов, составления конфиденциальных юридических документов или даже для обсуждения своих медицинских проблем? Отлично. Именно этого и добиваются эти ИИ-сверхразумы. Но что, если я скажу вам, что существует незаметный бэкдор, и ваши драгоценные данные отправляются в неизвестном направлении?
Исследователи из Check Point Research, благослови их циничные маленькие сердечки, только что бросили бомбу, которая зрела под покровом всего этого генеративного ИИ-волшебства. Это называется «скрытый исходящий канал», и, честно говоря, это именно тот тип вещей, от которого у 20-летнего журналиста, освещающего технологии, дергается глаз от знакомого предчувствия. Мы видели этот фильм раньше, просто с другими злодеями и чуть более блестящей технологией.
Иллюзия контроля
OpenAI, как и любой приличный технологический гигант, расхваливает свои средства защиты. Они говорят вам, что среда выполнения кода ChatGPT изолирована, своего рода цифровая крепость, где ваши данные в безопасности от посторонних глаз и несанкционированных отбытий. Это должен быть замкнутый цикл, верно? Никаких прямых сетевых запросов, никакого хитрого вывода данных в дикие просторы интернета. А легитимные внешние взаимодействия, такие как те модные «Actions» GPT, которые вызывают сторонние API? Они вроде как должны быть видимы, требуя вашего явного разрешения. Вы видите, как данные уходят, вы видите, куда они идут. Просто.
За исключением, видимо, не так уж и просто.
Оказывается, достаточно одного хитроумно составленного промпта. Всего одного. И внезапно ваша обычная сессия чата превращается в канал для тайной эксфильтрации данных. Это похоже на то, как оставить входную дверь незапертой, а затем удивляться, когда кто-то заходит и уносит ваши столовые приборы. Только на этот раз вместо столовых приборов — ваши личные сообщения, загруженные файлы и сама суть ваших конфиденциальных запросов.
Бэкдор, который вы не заказывали
Что по-настоящему возмущает, так это механизм. Это не какая-то атака методом грубой силы. Это атака по побочному каналу, расцветающая в той самой среде, которая призвана защищать ваши данные. ИИ, работая под предположением, что эта песочница для выполнения кода — цифровой тупик, даже не распознает исходящий трафик как нарушение. Он не вызывает тревогу. Он не пингует вас для одобрения. Это цифровой эквивалент ниндзя в вашей гостиной, который тихонько растаскивает ваши вещи, пока система безопасности дремлет, блаженно не подозревая.
И дело не только в уходе данных. Тот же хитрый путь теоретически может быть использован для получения удаленного доступа к командной оболочке внутри этой среды Linux. Подумайте об этом на секунду. Кто-то буквально может получить контроль над средой, обрабатывающей ваши данные. Внезапно эта «изолированная среда выполнения» уже не такая уж и изолированная.
Эта уязвимость позволяет передавать конфиденциальную информацию на внешний сервер через побочный канал, исходящий из контейнера, используемого ChatGPT для выполнения кода и анализа данных. Важно отметить, что, поскольку модель работала под предположением, что эта среда не может напрямую отправлять данные наружу, она не распознавала такое поведение как внешний трансфер данных, требующий противодействия или посредничества пользователя. В результате утечка не вызывала предупреждений об уходе данных из разговора, не требовала явного подтверждения пользователя и оставалась в значительной степени невидимой с точки зрения пользователя.
На высоком уровне атака начиналась с того, что жертва отправляла единственный вредоносный промпт в беседу ChatGPT. С этого момента каждое новое сообщение в чате становилось потенциальным источником утечки. Масштаб этой утечки зависел от того, как промпт формулировал задачу для модели: он мог включать необработанный текст пользователя, текст, извлеченный из загруженных файлов, или выбранный выход, сгенерированный моделью, такой как резюме, медицинские заключения, выводы и другая конденсированная информация. Это делало атаку гибкой, поскольку позволяло злоумышленнику нацеливаться не только на исходные пользовательские данные, но и на самую ценную информацию, произведенную самой моделью.
Такой шаблон атаки естественно вписывается в обычное поведение пользователей. Интернет полон веб-сайтов, блогов, форумов и тредов в социальных сетях, пропагандирующих «лучшие промпты для продуктивности», «лучшие промпты для работы» и другие готовые инструкции.
Кто здесь зарабатывает?
Вот тут мой внутренний циник начинает праздновать победу. OpenAI продает нам будущее ИИ-ассистентов, плетя сказки о продуктивности и плавной интеграции. И да, в этом есть ценность. Но кто на самом деле выигрывает, когда безопасность оказывается второстепенной задачей? Это те, кто может использовать эти пробелы. Это национальные государства, ищущие разведданные, киберпреступники, ищущие сочные данные для продажи в даркнете. Это не рядовой пользователь, который просто хотел лучший способ написать электронное письмо.
Это не просто технический сбой; это фундаментальная проблема доверия. Мы передаем все более конфиденциальную информацию системам, которые, несмотря на лучшие намерения и PR-акции, могут иметь зияющие дыры. Стремление к более мощным возможностям ИИ — больше интеграций, больше сред выполнения — похоже, опережает требующуюся строгую проверку безопасности. Гонка за созданием самого мощного ИИ, похоже, является гонкой, где безопасность иногда спотыкается и падает на обочине.
Это напоминает мне ранние дни облачных вычислений. Все были так взволнованы возможностями, масштабируемостью. А потом начались утечки данных. Та же картина разыгрывается и здесь, только с дополнительным слоем ИИ-черного ящика, принимающего решения. Обещание ИИ огромно, без сомнения. Но путь к его достижению усеян потенциальными катастрофами с данными, и эта утечка данных ChatGPT — лишь последняя, и, честно говоря, самая тревожная запись на этой давно проторенной дороге.
Почему это важно для разработчиков?
Для разработчиков, которые работают на базе этих платформ или интегрируют ИИ в свои собственные продукты, это тревожный звонок. Предположение о том, что среда выполнения ИИ по своей природе безопасна, может оказаться фатальной ошибкой. Опора на заявленные меры безопасности OpenAI без понимания базовых векторов атаки оставляет ваших собственных пользователей уязвимыми. Это означает, что «функции с поддержкой ИИ» могут непреднамеренно стать каналами эксфильтрации данных. Разработчики должны быть предельно осведомлены о том, как конструируются промпты и какие данные передаются моделям ИИ, особенно когда эти модели имеют доступ к выполнению кода или внешним API. Бремя обеспечения безопасности смещается, и оно ложится все тяжелее на плечи тех, кто создает приложения, использующие эти мощные, а иногда и «протекающие» ИИ-сервисы.
