Что такое аблитерированная модель? Простое объяснение

Краткая версия

Аблитерированная модель — это обычная языковая модель с открытыми весами, у которой поведение отказа отредактировано напрямую путем изменения чисел внутри модели, а не путем ее переобучения или написания умного промпта. Слово объединяет «абляция» (вырезание части, чтобы понять, что она делала) и «уничтожение». После редактирования модель больше не отвечает «Я не могу помочь с этим» на запросы, на которые её научили отвечать отказом.

Три важных момента, которые стоит запомнить перед деталями:

• Это редактирование весов, а не трюк с промптом. Нет текста джейлбрейка, который нужно поддерживать, и не тратится контекстное окно.
• Она удаляет поведение, а не знания. Модель знает то, что знала раньше; она просто перестает отказывать.
• Это не бесплатно. Редактирование может немного снизить общее качество, поэтому внимательные разработчики тестируют результат и иногда проводят дообучение для его восстановления.

Откуда взялась идея

Чат-модели учатся отказывать во время постобучения. Аннотаторы и модели вознаграждения направляют модель к отказу от определенных запросов, и эта привычка закрепляется вместе со всем остальным, чему научилась модель. Долгое время это выглядело как разрозненное поведение, распределенное по миллиардам параметров.

Исследовательская статья под названием Отказ в языковых моделях опосредован одним направлением показала нечто более управляемое. В ряде открытых чат-моделей значительная часть поведения отказа контролируется одним направлением во внутреннем пространстве активаций модели. Сместите активации вдоль этого направления, и модель будет отказывать даже в безобидных запросах. Удалите это направление, и она перестанет отказывать в запросах, в которых обычно отказывает.

Сообщество с открытым исходным кодом превратило это открытие в практический рецепт и дало ему название. Аблитерация — это этот рецепт: найдите направление отказа, затем сделайте так, чтобы модель не могла его использовать.

Как работает аблитерация, шаг за шагом

Процедура достаточно короткая, чтобы описать ее за пять шагов. Градиентный спуск не участвует, поэтому требуется гораздо меньше вычислений, чем при обучении модели.

1. Соберите два набора промптов. Один набор содержит запросы, от которых модель отказывается, другой — запросы, на которые она отвечает. Обычно используется несколько сотен каждого.
2. Запишите активации. Пропустите оба набора через модель и сохраните скрытое состояние на выбранном слое, обычно на последнем токене промпта.
3. Вычислите направление. Усредните активации каждого набора, вычтите среднее «ответивших» из среднего «отказавших» и нормализуйте результат. Этот вектор — направление отказа.
4. Исключите направление проекцией. Либо вычитайте направление во время выполнения, либо отредактируйте матрицы весов, которые записывают в остаточный поток (встраивания, выходы внимания, выходы MLP), чтобы они никогда не могли создать компонент вдоль этого направления. Второй вариант является постоянным, и именно его используют большинство опубликованных аблитерированных контрольных точек.
5. Тестирование. Запустите отложенные промпты, сравните уровень отказов до и после, а также проверьте обычные задачи, такие как рассуждение и программирование, на регрессии.

Выбор слоя имеет значение. Выберите тот, где направление четко разделяет два набора промптов, и редактирование работает; выберите плохой, и вы получите модель, которая все еще отказывается, или модель, которая потеряла устойчивость в посторонних вопросах. На практике люди пробуют несколько слоев и оставляют лучший.

Аблитерация по сравнению с другими подходами

Существует три распространенных способа заставить модель перестать отказывать. Они различаются тем, что меняют и где обычно терпят неудачу.

Подход	Что изменяется	Стоимость	Типичный недостаток
Промпт джейлбрейка	Только входной текст	Нет, но на каждый вызов тратится контекстное окно	Хрупкий; одно обновление модели, и он перестает работать
Дообучение на разрешительных данных	Веса, через обучение	Часы на GPU и тщательно отобранный набор данных	Качество набора данных решает все; стиль письма может измениться
Аблитерация	Веса, через прямое редактирование	Низкие по сравнению с обучением	Направление приблизительное, поэтому качество может снизиться

Многие готовые модели комбинируют методы. Распространенный паттерн — сначала аблитерация, затем короткое дообучение для восстановления качества, потерянного при редактировании. При чтении карточки модели ищите, какие из этих шагов были использованы и сообщает ли автор о тестах до и после.

Чем вы жертвуете и на что обратить внимание

Удаление отказов не делает модель лучше ни в чем. Оно удаляет фильтр. Из этого вытекают некоторые последствия.

Качество может снизиться

Направление отказа не идеально отделено от других функций. Его удаление может размыть соседнее поведение, что проявляется в немного худшем рассуждении, странном форматировании или более плоском тоне. Хорошая сборка сводит эти эффекты к минимуму, но вы должны запускать свои промпты, а не доверять метке.

Теперь суждение за вами

Выровненная модель иногда отказывает в запросе по уважительной причине. Модель без цензуры обычно продолжает работу. Если вы запускаете на её основе продукт, вы решаете, что приемлемо: напишите системный промпт, добавьте собственные проверки ввода и логируйте то, что важно для вас. Законное использование взрослыми — это предполагаемая область применения. Контент с участием несовершеннолетних — это строгий лимит для этого сервиса, и он никогда не является приемлемым ни в каком контексте.

Ошибки все еще случаются

Модель все еще может выдумывать факты, неправильно понимать инструкции или терять нить длинного разговора. Меньше отказов не означает большей точности.

Как модель, стоящая за этим API, вписывается в картину

Эта статья описывает метод в общих чертах. То, что дает API, — это одна модель с открытыми весами от независимого провайдера, настроенная на ответы без отказов по контенту для законного использования совершеннолетними. Это не официальное API Meta, Mistral, Qwen, DeepSeek, OpenAI или любого другого поставщика, и это не маршрутизатор между несколькими из них. Она работает только с текстом: без изображений, аудио, эмбеддингов или дообучения.

Интерфейс совместим с OpenAI. Укажите любой SDK OpenAI на https://api.abliteratedmodels.cc/v1, используйте идентификатор модели uncensored и отправьте свой ключ как токен Bearer:

Copycurl https://api.abliteratedmodels.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "user", "content": "Explain directional ablation in two sentences."}
    ]
  }'

Тот же вызов на Python с официальным SDK:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.abliteratedmodels.cc/v1",
    api_key="YOUR_KEY",
)

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "What does a refusal direction mean?"}],
)
print(reply.choices[0].message.content)

Контекстное окно составляет 100 000 токенов, включая промпт и ответ (completion). Потоковая передача, вызов функций и JSON-режим работают так же, как в API OpenAI. Подробности в документации API.

Распространенные мифы об аблитерированных моделях

Об этих моделях ходит несколько представлений, которые стоит развеять, потому что они заставляют людей ожидать не того.

«Это более умная модель.» Нет. Редактирование весов убирает фильтр. Способность к рассуждению, память фактов и навык письма берутся из базовой модели, и при редактировании они либо остаются прежними, либо могут немного ухудшиться. Если задача не выполняется в выровненной версии из-за недостатка способностей, она не выполнится и здесь.

«Правил вообще нет.» У модели может не быть привычки отказывать, но сервис вокруг неё — есть. Сексуальный контент с участием несовершеннолетних — это жёсткое ограничение, а предполагаемая сфера применения — законное использование взрослыми. Модель также сохраняет тон и манеры своих обучающих данных, поэтому она не станет грубой или опасной, если только промпт не подтолкнёт её к этому.

«Системный промпт может сделать то же самое.» Системный промпт может подтолкнуть модель, и иногда этого достаточно для мягких случаев. Но промпт стоит входных токенов при каждом вызове, конкурирует с вашими реальными инструкциями за внимание модели и не справляется, когда обученный рефлекс модели силен. Редактирование весов не имеет этих издержек.

«Аблитерация означает незаконность.» Это не так. Модели с открытыми весами публикуются для того, чтобы любой мог их модифицировать, и редактирование одной из них — это нормальная часть исследований в области машинного обучения. То, что вы делаете с выводом, — это то, что имеет значение с точки зрения закона, и это остаётся вашей ответственностью.

Учитывая эти моменты, проще оценивать такую модель разумно: как инструмент с меньшим количеством оградительных механизмов и теми же базовыми навыками, который нужно обернуть в те средства защиты, которые нужны вашему продукту.

Кому это действительно нужно

Большинство пользователей никогда не сталкиваются с отказом. Те, кто сталкивается, обычно делятся на несколько групп:

• Писатели художественной литературы и ролевых игр. Тёмные темы, злодеи с реальной угрозой и морально неоднозначные сцены — это норма в литературе. Выровненные модели часто смягчают их или отказываются их генерировать. Приложения-компаньоны и сторителлинг для взрослых сталкиваются с той же проблемой.
• Специалисты по безопасности и red team. Написание тестовых нагрузок (payloads), объяснение того, как работает цепочка эксплойтов, или анализ образца вредоносного ПО могут сработать как фильтр, созданный для широкой публики.
• Команды модерации и исследователи. Чтобы создать классификатор для вредоносного текста, вам иногда нужна модель, которая сможет выдавать примеры этого текста или обсуждать их без колебаний.
• Разработчики, уставшие от циклов повторных запросов. Если половина вашего конвейера состоит из перехвата отказов и перефразирования, их удаление упрощает код.

Если вы взвешиваете компромисс между стоимостью и контролем по сравнению с выровненной размещённой моделью, страница стоимость и контроль при использовании LLM API без цензуры подробно разбирает это. Тарифы фиксированные: $0,15 за миллион входных токенов и $0,50 за миллион выходных токенов, неудачные или отклонённые запросы не оплачиваются. См. страницу тарифов для сумм пополнения и бонусов.

Попробовать без траты денег

Вы можете протестировать, подходит ли модель без цензуры для ваших промптов, прежде чем платить что-либо. Зарегистрируйтесь через Google или с помощью электронной почты и пароля, откройте страницу ключей и получите пробный баланс в $0,50 в один клик. Для этого не нужна карта, лимит — один на человека, и баланс действителен в течение 7 дней. По этим тарифам $0,50 покрывает более тысячи коротких диалоговых реплик, чего вполне достаточно для честного теста.

Запустите промпты, которые ваша текущая модель отклоняет, сравните ответы с собственным суждением и посмотрите на качество задач, не связанных с отказами. Если вывод держит качество, получите ключ на странице API-ключей и пополните баланс от $20.

Дополнительные руководства

• Лучшие аблитерированные модели для программирования: на что обратить внимание
• LLM API без цензуры: анализ стоимости и контроля