Hoe je Abliterated Models draait: lokaal, cloud of API

Kies eerst een route

	Lokaal	Gehuurde cloud-GPU	Gehoste API
Voorafgaande kosten	Hardware die je misschien al hebt	Geen	Geen
Insteltijd	Een avond	Een avond, plus beheer van de externe server	Minuten
Doorlopende kosten	Elektriciteit	Uurprijs zolang de machine draait	Per token
Benodigde vaardigheid	Matig	Matig tot hoog	Laag
Privacy	Hoogst	Hangt af van de host	Aan serverkant; prompts niet gebruikt voor training

Als je alleen antwoorden wilt van een model dat geen legale verzoeken van volwassenen weigert, is de API de kortste weg. Als je wilt experimenteren met gewichten, modellen wilt mergen of offline wilt werken, ga dan lokaal. De cloud-GPU-optie is geschikt voor mensen die een groot model een paar uur nodig hebben en geen hardware willen kopen.

Route 1: draai het lokaal

Je hebt de gewichten nodig in een formaat dat je runtime laadt, en voldoende geheugen. De meest voorkomende setup is een GGUF-bestand met llama.cpp of een tool die erop is gebaseerd, zoals Ollama of LM Studio.

1. Schat het geheugen in. Gewichten nemen ongeveer parameters x bits per gewicht / 8 in beslag. Een 14B-model met 4-bit is ongeveer 7 GB. Tel er een paar gigabytes bij op voor de contextcache.
2. Download een gekwantiseerd bestand van een vertrouwde bron. De pagina over wat een geablitereerd model is legt uit wat deze bestanden bevatten.
3. Start een server. Met llama.cpp ziet de opdracht er als volgt uit.
4. Wijs je app erop aan. De server blootlegt een OpenAI-stijl endpoint, dus elke compatibele client kan verbinding maken.

Copyllama-server -m ./weights-Q4_K_M.gguf -c 8192 -ngl 99 --port 8080

Hier stelt -c de contextlengte in en -ngl 99 offloadt alle lagen naar de GPU als ze passen. Verlaag -ngl als je geen geheugen meer hebt, en verwacht langzamere uitvoer als lagen op de CPU blijven.

Veelvoorkomende lokale problemen zijn eenvoudig te herkennen. Als het laden faalt met een out-of-memory-bericht, kies dan een kleinere kwantisatie of verlaag de contextlengte, aangezien de cache hiermee meegroeit. Als de uitvoer pijnlijk langzaam is, draaien sommige lagen op de CPU, dus controleer hoeveel er zijn overgeladen. Als antwoorden in herhaling vervallen, verlaag dan de temperatuur iets en verhoog de herhalingsstraf. En als het model in een vreemd formaat antwoordt, komt het chat-template mogelijk niet overeen met het formaat dat het model verwacht; de meeste runtimes laten je dit expliciet instellen.

Lokaal is het beste wanneer privacy en offline gebruik belangrijk zijn, of wanneer je al een kaart hebt met 16 GB of meer geheugen.

Route 2: huur een GPU in de cloud

Verhuurservices laten je een machine starten met een grote GPU en betalen per uur. De stappen komen overeen met de lokale route, maar je voert ze uit via SSH op een externe machine, en je moet de machine draaiende houden terwijl je het gebruikt. Dat laatste deel is belangrijk: je betaalt terwijl het inactief is, dus stop het wanneer je klaar bent.

Een typische huur sessie verloopt als volgt. Je kiest een machine met voldoende GPU-geheugen voor je model, start het vanuit een vooraf gebouwde image die al stuurprogramma's heeft geïnstalleerd, kopieert of downloadt de gewichten, start de server en verbindt via een SSH-tunnel zodat de poort nooit publiek is. Plan twintig tot dertig minuten alleen al voor downloads met een groot bestand, en de facturatie loopt meestal tijdens die tijd. Schrijf de stappen één keer in een script, zodat de volgende sessie snel start.

Controleer de huidige uurtarieven op de website van de aanbieder, omdat deze vaak veranderen. Een huur is zinvol voor een eenmalige taak zoals het draaien van een groot model door een batch documenten. Het is minder zinvol voor een chat die je een paar keer per dag opent, omdat de meter doorloopt tussen sessies door, en een persistent opslagvolume voor de gewichten vaak apart wordt gefactureerd.

Beveiliging is aan jou. Blootstel de modelservice niet aan het open internet zonder authenticatie, omdat iedereen die de poort vindt je GPU-tijd kan gebruiken.

Route 3: roep een gehoste API aan

Deze service geeft je één open-weight model, uitgevoerd door een onafhankelijke aanbieder en afgestemd om zonder inhoudelijke weigeringen te antwoorden voor legaal gebruik door volwassenen. De model-ID is uncensored. Het is geen officiële API van een modelleverancier en geen router tussen meerdere. De basis-URL is https://api.abliteratedmodels.cc/v1.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a candid technical assistant."},
        {"role": "user", "content": "Explain TCP slow start in five sentences."},
    ],
    temperature=0.7,
)
print(resp.choices[0].message.content)

Zelfde verzoek met curl:

Copycurl https://api.abliteratedmodels.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}],"stream":false}'

Streaming, tool calling en JSON-modus werken zoals in de OpenAI API. Details staan in de documentatie.

Kosten van elke route, met de API-mathematica

Lokale en huurkosten zijn afhankelijk van prijzen die je zelf moet opzoeken. API-kosten zijn eenvoudig te berekenen. De tarieven zijn $0,15 per 1M invoertokens en $0,50 per 1M uitvoertokens.

Een verzoek voor coderingsassistentie met 8.000 tokens context en een antwoord van 600 tokens kost 8.000 / 1.000.000 x $0,15 = $0,0012 voor invoer, plus 600 / 1.000.000 x $0,50 = $0,0003 voor uitvoer. Dat is $0,0015 per verzoek. Honderd zulke verzoeken per dag gedurende 30 dagen is 3.000 verzoeken, of $4,50 per maand.

De minimale top-up is $20, wat dat gebruik meer dan vier maanden zou dekken, en tegoed verloopt nooit. Bonussen gelden vanaf $50: +5%, vervolgens +10% vanaf $100 en +15% vanaf $200. Je kunt betalen met crypto (USDT op TRC20, USDC op Base). Zie de prijzenpagina voor de tabel.

Welke modellen draaien goed voor codering

Als je doel code is, zijn modelgrootte en trainingsdata belangrijker dan de abliteratiestap. Grotere modellen schrijven betrouwbaardere code, en ze hebben meer lokaal geheugen nodig. De vergelijking op de beste geablitereerde modellen voor codering geeft aan waar je op moet letten. Wanneer je kandidaten test, geef dan elk dezelfde vijf of zes taken uit je echte werk: een bugfix, een korte functie, een refactor, een uitleg van onbekende code. Vergelijk resultaten, niet marketing.

De gehoste optie is nuttig als basislijn. Voer je taakset eerst uit tegen de API, en kijk dan of een lokaal model dat je je kunt veroorloven het matcht.

Begin met de goedkoopste test

Voordat je hardware koopt of een machine huurt, besteed een paar minuten aan de API. Meld je aan met Google, of met e-mail en wachtwoord, en claim dan de proef op de API-sleutelpagina. Het is $0,50, geldig voor 7 dagen, één per persoon, en vereist geen kaart. Bij $0,0015 per verzoek is dat meer dan 300 verzoeken.

Proefsleutels staan 2 gelijktijdige verzoeken en 60 per minuut toe. Volledige sleutels staan 8 en 300 toe. Als je een limiet overschrijdt, krijg je HTTP 429 met rate_limited of concurrency, en een 429 met Retry-After: 5 tijdens tijdelijke overbelasting. Voor een breder overzicht van modellen zonder weigeringen, lees de pagina over het ongecensureerde AI-model.

De API is alleen tekst en heeft een harde regel: geen seksuele inhoud met minderjarigen.

Meer handleidingen

• Abliterated Models Download: Veilige bronnen en controles
• Beste Abliterated Models voor coderen: waar je op moet letten