Wat is een geabliteerd model? Een eenvoudige uitleg

De korte versie

Een geabliteerd model is een gewoon open-weight taalmodel waarvan het weiger-gedrag direct is bewerkt door getallen in het model te veranderen in plaats van het opnieuw te trainen of een slimme prompt te schrijven. Het woord combineert "ablatie" (een deel wegnemen om te zien wat het deed) met "obliteratie". Na de bewerking antwoordt het model niet meer met "Ik kan je daar niet mee helpen" op verzoeken die het is aangeleerd te weigeren.

Drie punten om te onthouden voordat we in de details duiken:

• Het is een gewichtsbewerking, geen prompt-truc. Er is geen jailbreak-tekst om bij te houden en er wordt geen context voor versleten.
• Het verwijdert een gedrag, geen kennis. Het model weet wat het al wist; het stopt simpelweg met weigeren.
• Het is niet gratis. De bewerking kan algemene kwaliteit kosten, dus zorgvuldige ontwikkelaars testen het resultaat en fine-tunen soms achteraf om het te herstellen.

Waar het idee vandaan komt

Chatmodellen leren weigeren tijdens de post-training. Annotators en beloningsmodellen duwen het model om bepaalde verzoeken te weigeren, en de gewoonte raakt ingebakken naast alles wat het model anders heeft geleerd. Lang zag dit eruit als een diffuus gedrag verspreid over miljarden parameters.

Een onderzoeksartikel met de titel Refusal in Language Models Is Mediated by a Single Direction toont iets hanteerbaarders aan. Over een scala aan open chatmodellen wordt veel van het weigeringsgedrag gecontroleerd door één richting in de interne activatieruimte van het model. Duw de activeringen langs die richting en het model weigert zelfs onschadelijke verzoeken. Verwijder die richting en het stopt met het weigeren van verzoeken die het normaal gesproken zou afwijzen.

De open source-gemeenschap heeft deze bevinding omgezet in een praktische methode en er een naam aan gegeven. Abliteratie is die methode: vind de weigeringsrichting en maak het model ongeschikt om die te gebruiken.

Hoe abliteratie werkt, stap voor stap

De procedure is kort genoeg om in vijf stappen te beschrijven. Er wordt geen gradiëntafdaling gebruikt, wat de reden is dat het veel minder rekenkracht vereist dan het trainen van een model.

1. Verzamel twee promptsets. De ene set bevat verzoeken die het model weigert, de andere bevat verzoeken die het beantwoordt. Een paar honderd van elk is een veelvoorkomende grootte.
2. Activaties vastleggen. Voer beide sets door het model en sla de verborgen toestand op op een gekozen laag, meestal bij het laatste prompt-token.
3. Bereken de richting. Bereken het gemiddelde van de activeringen van elke set, trek het gemiddelde van 'beantwoord' af van het gemiddelde van 'geweigerd' en normaliseer het resultaat. Die vector is de weigeringsrichting.
4. Projecteer het eruit. Trek de richting bij het uitvoeren af, of bewerk de gewichtsmatrices die schrijven naar de residual stream (embeddings, attention-uitvoer, MLP-uitvoer) zodat ze nooit een component langs die richting kunnen produceren. De tweede optie is permanent en dat is wat de meeste gepubliceerde geabliteerde checkpoints gebruiken.
5. Test. Voer achtergehouden prompts uit, vergelijk de weigeringsrate voor en na, en controleer gewone taken zoals redeneren en coderen op regressies.

Het kiezen van de laag is belangrijk. Kies er een waar de richting de twee promptsets duidelijk scheidt en de bewerking werkt; kies een slechte en je krijgt een model dat nog steeds weigert, of een model dat zijn grip op ongerelateerde vragen is kwijtgeraakt. In de praktijk proberen mensen verschillende lagen en houden ze de beste over.

Abliteratie vergeleken met andere benaderingen

Er zijn drie veelvoorkomende manieren om een model te laten stoppen met weigeren. Ze verschillen in wat ze veranderen en waar ze vaak falen.

Benadering	Wat verandert	Kosten	Typische zwakte
Jailbreak-prompt	Alleen de invoertekst	Geen, maar het gebruikt context bij elke aanroep	Breekbaar; één modelupdate en het werkt niet meer
Fine-tunen op permissieve data	Gewichten, via training	GPU-uren en een samengestelde dataset	De kwaliteit van de dataset bepaalt alles; de schrijfstijl kan afwijken
Abliteratie	Gewichten, via een directe bewerking	Laag vergeleken met training	De richting is benaderend, dus de kwaliteit kan dalen

Veel voltooide modellen combineren methoden. Een veelvoorkomend patroon is eerst abliteren, daarna een korte fine-tuning uitvoeren om kwaliteit te herstellen die de bewerking heeft gekost. Als je een modelcard leest, kijk dan welke van deze stappen zijn gebruikt en of de auteur voor- en na-tests rapporteert.

Wat je opgeeft en waar je op moet letten

Weigeringen verwijderen maakt een model niet beter in iets. Het verwijdert een filter. Daar volgen enkele gevolgen uit.

Kwaliteit kan dalen

De weigeringsrichting is niet perfect gescheiden van andere kenmerken. Het eruit editen kan naburig gedrag vervagen, wat zich uit in iets slechter redeneren, vreemde opmaak of een vlakke toon. Een goede build houdt deze effecten klein, maar je moet je eigen prompts uitvoeren in plaats van een label te vertrouwen.

Oordelen is nu aan jou

Een uitgelijnd model weigert soms een verzoek om een goede reden. Een ongecensureerd model gaat meestal gewoon door. Als je er een product op bouwt, bepaal jij wat acceptabel is: schrijf een systeemprompt, voeg je eigen inputcontroles toe en log wat voor jou belangrijk is. Legaal gebruik door volwassenen is het beoogde toepassingsgebied. Inhoud met minderjarigen is een harde limiet voor deze dienst en is nergens acceptabel.

Fouten gebeuren nog steeds

Het model kan nog steeds feiten verzinnen, instructies verkeerd interpreteren of de draad van een lang gesprek kwijtraken. Minder weigeringen betekenen niet meer nauwkeurigheid.

Hoe het model achter deze API past

Dit artikel beschrijft de methode in algemene termen. Wat de API je geeft is één open-weight model, gerund door een onafhankelijke provider, afgestemd om te antwoorden zonder inhoudsweigeringen voor legaal gebruik door volwassenen. Het is niet de officiële API van Meta, Mistral, Qwen, DeepSeek, OpenAI of een andere leverancier, en het is geen router over meerdere van hen. Het doet alleen tekst: geen afbeeldingen, audio, embeddings of fine-tuning.

De interface is OpenAI-compatibel. Wijs een OpenAI SDK aan op https://api.geabliteerdemodels.cc/v1, gebruik de model-ID uncensored en stuur je sleutel als Bearer-token:

Copycurl https://api.geabliteerdemodels.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "user", "content": "Explain directional ablation in two sentences."}
    ]
  }'

Dezelfde aanroep in Python met de officiële SDK:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.geabliteerdemodels.cc/v1",
    api_key="YOUR_KEY",
)

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "What does a refusal direction mean?"}],
)
print(reply.choices[0].message.content)

Het contextvenster is 100.000 tokens, waarbij prompt en completion samen meetellen. Streaming, tool calling en JSON-modus werken zoals in de OpenAI API. Details staan in de API-documentatie.

Veelvoorkomende mythes over geabliteerde modellen

Er circuleren een paar ideeën over deze modellen die het waard zijn om te corrigeren, omdat ze mensen ertoe brengen het verkeerde te verwachten.

"Het is een slimmer model." Dat is het niet. De edit verwijdert een filter. Redeneren, feitenkennis en schrijfvaardigheid komen van het basismodel, en als ze iets veranderen, dan blijven ze hetzelfde of worden ze iets slechter. Als een taak faalt op de uitgelijnde versie door gebrek aan capaciteit, zal het hier ook falen.

"Het heeft helemaal geen regels." Het model heeft misschien geen weigeringsgewoonte, maar de dienst eromheen wel. Seksuele inhoud met minderjarigen is een harde limiet, en het beoogde toepassingsgebied is legaal gebruik door volwassenen. Het model draagt ook nog steeds de toon en manieren van zijn trainingsdata, dus het wordt niet grof of gevaarlijk tenzij een prompt het daarheen duwt.

"Een systeemprompt kan hetzelfde." Een systeemprompt kan een model sturen, en soms is dat genoeg voor milde gevallen. Maar de prompt kost input-tokens bij elk verzoek, concurreert met je echte instructies voor aandacht, en geeft het op als de getrainde reflex van het model sterk is. Een gewichtsbewerking heeft geen van die kosten.

"Abliteren betekent onwettig." Dat doet het niet. Open-weight modellen worden gepubliceerd zodat iedereen ze kan aanpassen, en het bewerken ervan is een normaal onderdeel van machine learning-onderzoek. Wat je met de output doet is waar de wet naar kijkt, en dat blijft jouw verantwoordelijkheid.

Het onthouden van deze punten maakt het makkelijker om zo'n model verstandig te evalueren: als een tool met minder guardrails en dezelfde onderliggende vaardigheid, die je kunt omhullen met de safeguards die je eigen product nodig heeft.

Wie er eigenlijk een nodig heeft

De meeste mensen krijgen nooit een afwijzing. Diegenen die dat wel doen, vallen meestal in een paar groepen:

• Fictie- en rollenspelschrijvers. Donkere thema's, schurken met echte dreiging en moreel rommelige scènes zijn normaal in literatuur. Uitgelijnde modellen verzachten of weigeren ze vaak. Companion- en story-apps voor volwassenen lopen tegen hetzelfde probleem aan.
• Beveiligings- en red-teammedewerkers. Het schrijven van testpayloads, het uitleggen van hoe een exploit-keten werkt of het analyseren van een malwaremonster kan een filter triggeren dat voor het grote publiek is gebouwd.
• Moderatie- en onderzoeksteams. Om een classifier voor schadelijke tekst te bouwen, heb je soms een model nodig dat voorbeelden ervan produceert, of dat ze kan bespreken zonder aarzelen.
• Ontwikkelaars die moe zijn van retry-loops. Als de helft van je pipeline bestaat uit het vangen van afwijzingen en het herschrijven, vereenvoudigt het verwijderen van afwijzingen de code.

Als je de kosten- en controleafwegingen afzet tegen een uitgelijnd gehost model, behandelt de pagina over kosten van ongecensureerde LLM-API versus controle dit in detail door. Prijzen zijn vast: $0,15 per miljoen input tokens en $0,50 per miljoen output tokens, met gefaalde of geweigerde verzoeken die niet worden aangerekend. Zie de prijzenpagina voor top-up bedragen en bonussen.

Eén proberen zonder geld uit te geven

Je kunt testen of een ongecensureerd model bij je prompts past voordat je iets betaalt. Meld je aan met Google of met e-mail en wachtwoord, open de sleutelpagina en claim het $0,50 proeftegoed met één klik. Het vereist geen kaart, is beperkt tot één per persoon en is 7 dagen geldig. Bij deze tarieven dekt $0,50 ruim meer dan duizend korte chatsessies, wat meer dan genoeg is voor een eerlijke test.

Voer de prompts uit die je huidige model weigert, vergelijk de antwoorden met je eigen oordeel en kijk naar de kwaliteit op taken die niets met afwijzingen te maken hebben. Als de output standhoudt, vraag dan een sleutel aan op de API-sleutelpagina en laad op vanaf $20.

Meer handleidingen

• Beste geabliteerde modellen voor coderen: waar je op moet letten
• Ongecensureerde LLM-API: analyse van kosten versus controle