Новий браузер ChatGPT Atlas можна легко обдурити за допомогою prompt injection

Браузер на основі штучного інтелекту ChatGPT Atlas, який днями представила компанія OpenAI, виявився вразливим до атак prompt injection — прихованих інструкцій, непомітно вставлених у контент веб-сторінок. Про це повідомляє The Register з посиланням на дослідників Brave Software та незалежних фахівців з кібербезпеки.

Завдяки prompt injection хакери вбудовують у текст веб-сторінки або документа команди, які змушують модель виконувати потрібні для них дії. На відміну від прямих команд, що вводяться користувачем у вікно чат-боту або термінал, prompt injection може відбуватися непомітно. 

Atlas, як і інші браузери на базі ШІ, такі як Comet чи Fellou, теж виявився схильний до цього типу загроз. Розробники Brave назвали вразливість «системною проблемою цілого класу ШІ-браузерів».

Керівник напряму безпеки OpenAI Дейн Стакі визнав проблему. У своїй заяві він зазначив, що prompt injection залишається однією з ключових невирішених загроз у галузі безпеки штучного інтелекту. Компанія, за його словами, запровадила нові методи навчання, посилила захисні контури та провела масштабне тестування Atlas, але повністю захиститись від подібних атак поки що неможливо.

Стакі додав, що довгострокова мета OpenAI полягає в тому, щоб люди довіряли агенту ChatGPT, як другу чи колезі, який піклується про безпеку, і що компанія працює над тим, щоб це сталося. З цього випливає, що довіряти Atlas ще зарано.

Дослідник безпеки штучного інтелекту Йоганн Ребергер написав, що хоча в OpenAI впровадили захисні бар’єри, а також засоби контролю безпеки, ретельно створений контент на веб-сайтах (або агресивно-контекстна інженерія) все ще може обдурити ChatGPT Atlas. На практиці це означає, що хакер може змусити браузер відображати текст, який йому вигідний, або викликати інструменти для виконання інших дій.