GAS-Leak-LLM: Алгоритм для black-box jailbreak атак

Ссылка на оригинал

Введение

Статья описывает метод GAS (Genetic Algorithm-Based Suffix) Leak LLM - black-box атака на LLM, где подбор суффиксов происходит автоматически с помощью алгоритма.

Jailbreak в данном случае означает ситуацию, когда модель, несмотря на выравнивание и фильтры, начинает отвечать на запросы, на которые должна была бы отказать. Авторы показывают, что для такой атаки не обязательно знать веса модели, архитектуру, градиенты или внутренние механизмы защиты. Достаточно иметь возможность отправлять запросы и смотреть ответы.

Основная идея заключается в том что jailbreak рассматривается не как ручной подбор “магического” промпта, а как задача оптимизации. Есть пространство возможных суффиксов, есть модель, которая отвечает на запросы, и есть fitness-функция, которая оценивает насколько суффикс сдвигает поведение модели в нежелательную сторону.

Ключевые концепции

Модель угроз

В этой работе рассматривается реалистичный black-box сценарий, где у атакующего почти нет доступа к внутренностям модели.

Атакующий не знает:

• архитектуру модели;
• веса модели;
• градиенты;
• внутреннюю логику выравнивания;
• точные правила фильтрации.

Атакующий может:

• отправлять запросы в модель;
• получать ответы модели;
• добавлять к исходному запросу суффиксы;
• повторять запросы много раз и использовать ответы как сигнал для оптимизации.

Задача атакующего - найти универсальный суффикс, который можно добавить к разным вредным запросам, чтобы повысить вероятность jailbreak-ответа.

То есть атака не пытается взломать модель напрямую. Она работает через поведение модели на входах - есть исходный вредоносный запрос, к нему добавляется суффикс, модель отвечает и её ответ оценивается, после чего суффикс улучшаяеся с помощью алгоритма. Важно отметить, что universal suffix должен быть не одноразовым. Он должен работать не только на одном запросе, а на большом наборе запросов из разных категорий.

Почему Genetic Algorithm

Обычные градиентные методы плохо подходят для такого сценария, потому что модель является black-box. Нельзя посчитать градиент, нельзя посмотреть вероятности токенов и нельзя напрямую оптимизировать внутреннее состояние.

Генетический алгоритм решает эту проблему иначе. Он не требует доступа к внутренностям модели, а работает с популяцией вариантов.

Вместо “посчитать градиент и обновить токен” используется подход:

1. Создать несколько вариантов suffix
2. Проверить их на модели
3. Оценить качество каждого suffix
4. Выбрать лучшие
5. Скрестить их между собой
6. Случайно изменить часть токенов
7. Повторять процесс несколько поколений

По сути, это перебор, но не случайный, а направляемый функцией.

Архитектура GAS-Leak-LLM

Метод строит суффиксы как отдельную последовательность, которая добавляется к пользовательскому запросу.

В статье используются два типа суффиксов:

1. Meaningless suffix - набор токенов из словаря модели, который может выглядеть как бессмысленная последовательность

2. Meaningful suffix - связный текст, собранный из обычных английских слов

Интересная часть работы как раз в том, что meaningful suffix оказался важнее для более устойчивых моделей. То есть модель хуже реагирует на случайный шум, но лучше вникает в текст, который выглядит семантически связным.

Общий пайплайн выглядит так:

1. Initialization - создаётся начальная популяция суффикса

2. Evaluation - каждый суффикс добавляется к вредоносному запросу и отправляется в LLM

3. Fitness scoring - ответ модели сравнивается с двумя направлениями:

   • насколько он похож на целевой jailbreak ответ
   • насколько он похож на обычный отказ модели

4. Selection - лучшие суффиксы выбираются

5. Crossover - части двух хороших суффиксов объединяются

6. Mutation - случайная позиция в суффиксе заменяется другим токеном или словом

7. Replacement - лучшие варианты сохраняются, остальные заменяются потомками

8. Repeat - цикл повторяется много поколений

Fitness-функция

Fitness-функция отвечает на вопрос: насколько конкретный суффикс помогает модели перейти от refusal-поведения к jailbreak-поведению.

Если модель явно отказывается отвечать, суффикс получает плохую оценку. Если модель не отказывается, ответ дополнительно оценивается через семантическую схожесть. В работе успешным jailbreak считается случай, когда fitness score больше или равен 0.6.

Эксперименты

Для экспериментов авторы используют Harmful Behavior dataset. В нём 520 вредоносных запросов из разных категорий, включая дезинформацию, хакинг, насилие, нелегальный контент и другие классы вредных запросов.

Во время оптимизации используется подвыборка из 20 запросов, а итоговая проверка проводится на всех 520 запросах.

Модели для тестирования:

• Qwen2.5-3B
• Llama-3.2-3B-Instruct

Главная метрика - jailbreak percentage. Она показывает долю запросов, где модель дала jailbreak-ответ по критерию fitness score >= 0.6.

Baseline

Сначала модели проверялись без суффиксов.

Разница очень большая. Llama-3.2-3B-Instruct почти всегда отказывается, а Qwen2.5-3B уже в бейзлайне показывает очень высокий jailbreak percentage.

Это важный момент: если бейзлайн уже почти насыщен, то суффиксами почти нечего улучшать. Поэтому для Qwen результаты с суффиксами выглядят слабее не потому, что метод не работает, а потому что модель уже уязвима без него.

Cross-model transfer

Авторы также проверяют, переносится ли суффиксы между моделями.

Для Llama лучше всего работают суффиксы, сгенерированные на самой Llama. Суффикс от Qwen тоже переносится, но хуже.

Для Qwen разница почти не важна, потому что модель уже показывает высокий jailbreak percentage без суффиксов.

Cross-model transfer здесь есть, но он не симметричный. Более слабая модель может быть уязвима почти ко всему, а более сильная модель лучше ломается суффиксами, которые оптимизированы именно под неё.

Meaningful vs meaningless

Отдельный эксперимент сравнивает осмысленные и бессмысленные суффиксы.

На Llama осмысленные суффиксы работают заметно лучше. Это означает, что связный текст даёт более сильный сигнал для модели, чем случайная последовательность токенов.

На Qwen оба варианта почти одинаковы, потому что бейзлайн уже высокий.

Для устойчивых моделей шум сам по себе работает хуже. Им нужен более естественный контекст, который выглядит как нормальная часть запроса и поэтому сильнее влияет на дальнейшую генерацию.

Длина suffix

Ещё один эксперимент проверяет влияние truncation, то есть сокращения суффиксов.

Для Llama длинный suffix работает лучше что логично, так как чем больше связного контекста добавляется к запросу, тем сильнее он может повлиять на поведение модели.

Для Qwen длина почти не играет роли, потому что модель и так уязвима.

Результаты

На графиках в статье категории обозначены так:

• HH - Harassment/Hate
• MI - Misinformation
• SH - Self-harm
• MH - Malware/Hacking
• IL - Illegal
• VT - Violence/Terrorism
• SE - Sexually explicit

a, b - результаты для суффиксов, сгенерированных с помощью Qwen2.5-3B и Llama-3.2-3B Instruct, при атаке на Qwen2.5-3B и Llama-3.2-3B Instruct соответственно. c, d - сравнение осмысленных и бессмысленных суффиксов с базовым сценарием без суффиксов для Qwen2.5-3B и Llama-3.2-3B Instruct.

По категориям видно несколько закономерностей:

1. Qwen2.5-3B показывает высокий jailbreak percentage почти во всех категориях

2. Llama-3.2-3B-Instruct заметно устойчивее, особенно в safety-critical категориях

3. Meaningful suffix лучше переносится на Llama, чем meaningless suffix

4. Transferability зависит не только от модели, но и от категории запроса

5. Более длинные суффиксы сильнее влияют на более устойчивые модели

Вывод

В статье показано, что выравнивание у LLM остаётся уязвимым к автоматизированным black-box атакам. Даже если модель обучена отказываться от вредных запросов, её поведение можно сдвигать через специально подобранный суффикс. Главный результат не в том, что найден конкретный суффикс, а в том, что сам процесс поиска можно автоматизировать. Алгоритм рассматривает jailbreak как оптимизационную задачу и постепенно улучшает суффиксы на основе ответов модели.

Три наблюдения:

1. Instruction-tuning действительно снижает уязвимость на бейзлайне, что видно на примере Llama-3.2-3B-Instruct

2. Meaningful suffix может быть опаснее бессмысленного шума, потому что он выглядит как нормальный языковой контекст

3. Более длинный suffix сильнее влияет на устойчивые модели, потому что даёт больше контекста для сдвига поведения