O que é um modelo abliterado? Explicação direta

O resumo

Um modelo abliterado é um modelo de linguagem de pesos abertos comum que teve seu comportamento de recusa editado diretamente, alterando números dentro do modelo em vez de retreiná-lo ou escrever um prompt inteligente. A palavra combina "ablação" (cortar uma parte para ver o que ela fazia) com "obliteração". Após a edição, o modelo não responde mais "Não posso ajudar com isso" para solicitações que ele foi treinado para recusar.

Três pontos valem a pena reter antes dos detalhes:

• É uma edição de peso, não um truque de prompt. Não há texto de jailbreak para manter nem contexto gasto nisso.
• Ela remove um comportamento, não o conhecimento. O modelo sabe o que sabia antes; ele simplesmente para de recusar.
• Não é de graça. A edição pode prejudicar a qualidade geral, então criadores cuidadosos testam o resultado e às vezes fazem fine-tune depois para recuperá-lo.

De onde vem a ideia

Modelos de chat aprendem a recusar durante o pós-treinamento. Anotadores e modelos de recompensa empurram o modelo a recusar certas solicitações, e o hábito fica gravado junto com tudo o mais que o modelo aprendeu. Por muito tempo, isso parecia um comportamento difuso espalhado por bilhões de parâmetros.

Um artigo científico intitulado Refusal in Language Models Is Mediated by a Single Direction mostrou algo mais tratável. Em uma variedade de modelos de chat abertos, grande parte do comportamento de recusa é controlado por uma única direção no espaço de ativação interna do modelo. Empurre as ativações ao longo dessa direção e o modelo recusará até solicitações inofensivas. Remova essa direção e ele deixará de recusar solicitações que normalmente recusaria.

A comunidade de código aberto transformou essa descoberta em uma receita prática e deu-lhe um nome. Abliteração é essa receita: encontre a direção de recusa e torne o modelo incapaz de usá-la.

Como a abliteração funciona, passo a passo

O procedimento é curto o suficiente para ser descrito em cinco etapas. Não envolve descida do gradiente, por isso precisa de muito menos computação do que treinar um modelo.

1. Reúna dois conjuntos de prompts. Um conjunto contém solicitações que o modelo recusa, o outro contém solicitações que ele responde. Algumas centenas de cada são um tamanho comum.
2. Registre as ativações. Execute ambos os conjuntos pelo modelo e salve o estado oculto em uma camada escolhida, geralmente no último token do prompt.
3. Calcule a direção. Tire a média das ativações de cada conjunto, subtraia a média "respondida" da média "recusada" e normalize o resultado. Esse vetor é a direção de recusa.
4. Remova a componente. Ou subtraia a direção em tempo de execução, ou edite as matrizes de peso que escrevem no fluxo residual (embeddings, saídas de atenção, saídas de MLP) para que nunca produzam uma componente ao longo dessa direção. A segunda opção é permanente e é o que a maioria dos checkpoints abliterados publicados usa.
5. Teste. Execute prompts de teste, compare a taxa de recusa antes e depois, e verifique tarefas comuns como raciocínio e programação para regressões.

Escolher a camada é importante. Escolha uma onde a direção separa os dois conjuntos de prompts de forma limpa e a edição funciona; escolha uma ruim e você terá um modelo que ainda recusa, ou um que ficou instável em perguntas não relacionadas. Na prática, as pessoas testam várias camadas e mantêm a melhor.

Abliteração comparada com outras abordagens

Existem três maneiras comuns de fazer um modelo parar de recusar. Elas diferem no que alteram e onde tendem a falhar.

Abordagem	O que muda	Custo	Fraqueza típica
Prompt de jailbreak	Apenas o texto de entrada	Nenhuma, mas usa contexto em cada chamada	Frágil; uma atualização do modelo e ela para de funcionar
Fine-tune em dados permissivos	Pesos, por treinamento	Horas de GPU e um conjunto de dados curado	A qualidade do conjunto de dados decide tudo; o estilo de escrita pode mudar
Abliteração	Pesos, por edição direta	Baixo em comparação com o treinamento	A direção é aproximada, então a qualidade pode cair

Muitos modelos finais combinam métodos. Um padrão comum é fazer a abliteração primeiro, depois executar um ajuste fino curto para recuperar qualquer qualidade que a edição custou. Ao ler um cartão de modelo, procure saber quais desses passos foram usados e se o autor relata testes antes e depois.

O que você abre mão e o que observar

Remover recusas não torna um modelo melhor em nada. Isso remove um filtro. Algumas consequências decorrem disso.

A qualidade pode cair

A direção de recusa não é perfeitamente separada de outros recursos. Editá-la pode borrar o comportamento vizinho, o que se manifesta como raciocínio ligeiramente pior, formatação estranha ou um tom mais plano. Uma boa implementação mantém esses efeitos pequenos, mas você deve executar seus próprios prompts em vez de confiar em um rótulo.

O julgamento é seu agora

Um modelo alinhado às vezes recusa uma solicitação por bom motivo. Um sem censura geralmente continuará. Se você lançar um produto com base nele, você decide o que é aceitável: escreva um prompt de sistema, adicione suas próprias verificações de entrada e registre o que é importante para você. Uso adulto lícito é o escopo pretendido. Conteúdo envolvendo menores de idade é um limite rígido neste serviço e nunca é aceitável em lugar nenhum.

Erros ainda acontecem

O modelo ainda pode inventar fatos, interpretar mal instruções ou perder o rastro de uma conversa longa. Menos recusas não significam mais precisão.

Como o modelo por trás desta API se encaixa

Este artigo descreve o método em termos gerais. O que a API oferece é um modelo de pesos abertos, executado por um provedor independente, ajustado para responder sem recusas de conteúdo para uso adulto legal. Não é a API oficial da Meta, Mistral, Qwen, DeepSeek, OpenAI ou qualquer outro fornecedor, e não é um roteador entre vários deles. Ela processa apenas texto: sem imagens, áudio, embeddings ou ajuste fino.

A interface é compatível com OpenAI. Aponte qualquer SDK da OpenAI para https://api.abliteratedmodels.cc/v1, use o ID do modelo uncensored e envie sua chave como token Bearer:

Copycurl https://api.abliteratedmodels.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "user", "content": "Explain directional ablation in two sentences."}
    ]
  }'

A mesma chamada em Python com o SDK oficial:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.abliteratedmodels.cc/v1",
    api_key="YOUR_KEY",
)

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "What does a refusal direction mean?"}],
)
print(reply.choices[0].message.content)

A janela de contexto é de 100.000 tokens, contando prompt e conclusão juntos. Streaming, chamada de funções e modo JSON funcionam como na API da OpenAI. Os detalhes estão na documentação da API.

Mitos comuns sobre modelos abliterados

Algumas ideias circulam sobre esses modelos que valem a pena corrigir, pois levam as pessoas a esperar o resultado errado.

"É um modelo mais inteligente." Não é. A edição remove um filtro. Raciocínio, memória de fatos e habilidade de escrita vêm do modelo base, e se houver mudança, eles só podem permanecer iguais ou piorar ligeiramente. Se uma tarefa falha na versão alinhada por falta de capacidade, ela falhará aqui também.

"Não há nenhuma regra." O modelo pode não ter o hábito de recusa, mas o serviço ao redor tem. Conteúdo sexual envolvendo menores é um limite rígido, e o escopo pretendido é o uso adulto legal. O modelo também ainda carrega o tom e as maneiras de seus dados de treinamento, então ele não ficará rude ou perigoso a menos que um prompt o empurre para lá.

"Um prompt de sistema pode fazer a mesma coisa." Um prompt de sistema pode direcionar um modelo, e às vezes isso é suficiente para casos leves. Mas o prompt custa tokens de entrada em cada chamada, compete com suas instruções reais pela atenção e falha quando o reflexo treinado do modelo é forte. Uma edição de peso não tem nenhum desses custos.

"Abliterado significa ilegal." Não significa. Modelos de pesos abertos são publicados para que qualquer um os modifique, e editar um é uma parte normal da pesquisa de aprendizado de máquina. O que você faz com a saída é com isso que a lei se importa, e isso continua sendo sua responsabilidade.

Manter esses pontos em mente torna mais fácil avaliar tal modelo de forma sensata: como uma ferramenta com menos controles e a mesma habilidade subjacente, a ser envolvida em quaisquer limites que seu próprio produto precise.

Quem realmente precisa de um

A maioria das pessoas nunca encontra uma recusa. Quem encontra tende a se encaixar em alguns grupos:

• Escritores de ficção e roleplay. Temas sombrios, vilões com verdadeira ameaça e cenas moralmente complexas são normais na literatura. Modelos alinhados muitas vezes suavizam ou recusam esses temas. Aplicativos de companheiros e histórias voltados para adultos enfrentam o mesmo problema.
• Equipes de segurança e red-team. Escrever payloads de teste, explicar como uma cadeia de exploits funciona ou analisar uma amostra de malware pode ativar um filtro feito para o público geral.
• Equipes de moderação e pesquisa. Para construir um classificador para texto prejudicial, às vezes você precisa de um modelo que produzirá exemplos dele, ou que discutirá esses exemplos sem hesitar.
• Desenvolvedores cansados de loops de retry. Se metade do seu pipeline está capturando recusas e reformulando, removê-las simplifica o código.

Se você está avaliando as compensações de custo e controle contra um modelo hospedado alinhado, a página sobre custo versus controle da API LLM sem censura detalha isso. O preço é fixo: $0,15 por milhão de tokens de entrada e $0,50 por milhão de tokens de saída, com solicitações falhas ou recusadas não cobradas. Veja a página de preços para valores de recarga e bônus.

Testando sem gastar dinheiro

Você pode testar se um modelo sem censura se adapta aos seus prompts antes de pagar qualquer coisa. Cadastre-se com o Google ou com e-mail e senha, abra a página de chaves e reivindique o crédito de teste grátis de $0,50 com um clique. Não precisa de cartão, é limitado a um por pessoa e permanece válido por 7 dias. A essas taxas, $0,50 cobre bem mais de mil rodadas curtas de chat, o que é suficiente para um teste justo.

Execute os prompts que seu modelo atual recusa, compare as respostas com seu próprio julgamento e avalie a qualidade em tarefas que não têm nada a ver com recusas. Se a saída se sustenta, obtenha uma chave na página da chave de API e recarregue a partir de $20.

Mais guias

• Melhores modelos abliterados para programação: O Que Procurar
• API LLM sem Censura: Análise de Custo vs. Controle