Abliterated Models ausführen: lokal, in der Cloud oder über API

Wähle zuerst eine Route

	Lokal	Gemietete Cloud-GPU	Gehostete API
Vorabkosten	Hardware, die du möglicherweise bereits besitzt	Keine	Keine
Einrichtungszeit	Ein Abend	Ein Abend plus Remote-Server-Pflege	Minuten
Laufende Kosten	Stromkosten	Stündlich, solange die Maschine läuft	Pro Token
Benötigte Fähigkeiten	Mäßig	Mittel bis hoch	Niedrig
Datenschutz	Höchste	Hängt vom Host ab	Serverseitig; Prompts werden nicht zum Training verwendet

Wenn du nur Antworten von einem Modell willst, das keine rechtmäßigen Anfragen von Erwachsenen ablehnt, ist die API der kürzeste Weg. Wenn du mit Gewichten experimentieren, Modelle verschmelzen oder offline arbeiten willst, gehe lokal. Die Cloud-GPU-Option passt für Leute, die ein großes Modell für ein paar Stunden brauchen, aber keine Hardware kaufen wollen.

Route 1: lokal ausführen

Du benötigst die Gewichte in einem Format, das dein Laufzeitumfeld lädt, und genügend Speicher. Die häufigste Einrichtung ist eine GGUF-Datei mit llama.cpp oder einem darauf aufbauenden Tool wie Ollama oder LM Studio.

1. Speicherbedarf abschätzen. Gewichte belegen etwa Parameter x Bit pro Gewicht / 8. Ein 14B-Modell bei 4-Bit sind etwa 7 GB. Füge ein paar Gigabyte für den Kontext-Cache hinzu.
2. Lade eine quantisierte Datei von einer vertrauenswürdigen Quelle herunter. Die Seite was ein ablibriertes Modell ist erklärt, was diese Dateien enthalten.
3. Server starten. Mit llama.cpp sieht der Befehl wie unten aus.
4. Richte deine App darauf aus. Der Server bietet einen OpenAI-ähnlichen Endpunkt, sodass jeder kompatible Client eine Verbindung herstellen kann.

Copyllama-server -m ./weights-Q4_K_M.gguf -c 8192 -ngl 99 --port 8080

Hier -c setzt die Kontextlänge und -ngl 99 lädt alle Schichten auf die GPU, wenn sie passen. Verringere -ngl, wenn dir der Speicher ausgeht, und erwarte langsamere Ausgaben, wenn Schichten auf der CPU bleiben.

Häufige lokale Probleme sind leicht zu erkennen. Wenn das Laden mit einer Out-of-Memory-Meldung fehlschlägt, wähle eine kleinere Quantisierung oder verkürze die Kontextlänge, da der Cache damit skaliert. Wenn die Ausgabe schmerzhaft langsam ist, laufen einige Schichten auf der CPU; prüfe, wie viele ausgelagert sind. Wenn die Antworten in Wiederholungen abdriften, senke die Temperatur etwas und erhöhe die Wiederholungsstrafe. Und wenn das Modell in einem seltsamen Format antwortet, passt die Chat-Vorlage möglicherweise nicht zu der, die das Modell erwartet; die meisten Laufzeiten lassen dich sie explizit einstellen.

Lokal ist am besten, wenn Datenschutz und Offline-Nutzung wichtig sind oder wenn du bereits eine Karte mit 16 GB oder mehr Speicher besitzt.

Route 2: GPU in der Cloud mieten

Mietdienste ermöglichen es dir, eine Maschine mit einer großen GPU zu starten und stundenweise zu bezahlen. Die Schritte entsprechen der lokalen Route, aber du führst sie über SSH auf einer Remote-Maschine aus, und du musst die Maschine während der Nutzung am Laufen halten. Dieser letzte Punkt ist wichtig: Du zahlst, während sie im Leerlauf ist, also stoppe sie, wenn du fertig bist.

Eine typische Miet-Sitzung sieht so aus. Du wählst eine Maschine mit genügend GPU-Speicher für dein Modell, startest sie von einem vorgefertigten Image, das bereits Treiber installiert hat, kopierst oder lädst die Gewichte herunter, startest den Server und verbindest dich über einen SSH-Tunnel, sodass der Port niemals öffentlich ist. Plane zwanzig bis dreißig Minuten nur für Downloads mit einer großen Datei, und die Abrechnung läuft normalerweise während dieser Zeit. Schreibe die Schritte einmal in ein Skript, damit die nächste Sitzung schnell startet.

Prüfe aktuelle stündliche Preise auf der Website des Anbieters, da sie sich oft ändern. Eine Miete macht Sinn für eine einmalige Aufgabe wie das Ausführen eines großen Modells durch einen Satz von Dokumenten. Sie macht weniger Sinn für einen Chat, den du ein paar Mal am Tag öffnest, weil die Uhr zwischen Sitzungen weiterläuft und ein persistentes Speicher-Volume für die Gewichte oft separat abgerechnet wird.

Die Sicherheit liegt bei dir. Stelle den Modellservice nicht ohne Authentifizierung ins offene Internet, denn jeder, der den Port findet, kann deine GPU-Zeit nutzen.

Route 3: Eine gehostete API aufrufen

Dieser Dienst gibt dir ein Open-Weight-Modell, betrieben von einem unabhängigen Anbieter und ausgelegt darauf, ohne Inhaltsverweigerungen für die rechtmäßige Nutzung durch Erwachsene zu antworten. Die Modell-ID ist uncensored. Es ist keine offizielle API eines Modell-Anbieters und kein Router über mehrere hinweg. Die Basis-URL ist https://api.abliteratedmodels.cc/v1.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a candid technical assistant."},
        {"role": "user", "content": "Explain TCP slow start in five sentences."},
    ],
    temperature=0.7,
)
print(resp.choices[0].message.content)

Die gleiche Anfrage mit curl:

Copycurl https://api.abliteratedmodels.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}],"stream":false}'

Streaming, Tool-Calling und JSON-Modus funktionieren wie in der OpenAI-API. Details findest du in der Dokumentation.

Kosten jeder Route, mit der API-Berechnung

Lokale und Mietkosten hängen von Preisen ab, die du selbst nachschauen musst. API-Kosten sind einfach zu berechnen. Die Preise sind $0,15 pro 1M Input-Token und $0,50 pro 1M Output-Token.

Eine Coding-Assistant-Anfrage mit 8.000 Token Kontext und einer 600-Token-Antwort kostet 8.000 / 1.000.000 x $0,15 = $0,0012 für Input, plus 600 / 1.000.000 x $0,50 = $0,0003 für Output. Das sind $0,0015 pro Anfrage. Einhundert solcher Anfragen pro Tag für 30 Tage sind 3.000 Anfragen oder $4,50 im Monat.

Die Mindest-Aufladung beträgt $20, was diese Nutzung für mehr als vier Monate abdecken würde, und Guthaben verfällt nie. Boni gelten ab $50: +5 %, dann +10 % ab $100 und +15 % ab $200. Du kannst mit Krypto (USDT auf TRC20, USDC auf Base) bezahlen. Siehe die Preisseite für die Tabelle.

Welche Modelle laufen gut für Coding

Wenn dein Ziel Code ist, zählen Modellgröße und Trainingsdaten mehr als der Ablibrationsschritt. Größere Modelle schreiben zuverlässigeren Code und benötigen lokal mehr Speicher. Der Vergleich auf den besten ablibrierten Modellen für die Programmierung listet auf, worauf du achten solltest. Wenn du Kandidaten testest, gib jedem die gleichen fünf oder sechs Aufgaben aus deiner echten Arbeit: eine Bugfix, eine kurze Funktion, ein Refactoring, eine Erklärung von fremdem Code. Vergleiche Ergebnisse, nicht Marketing.

Die gehostete Option ist als Basislinie nützlich. Führe deinen Aufgabensatz zuerst gegen die API aus, und sieh dann, ob ein lokales Modell, das du dir leisten kannst, damit übereinstimmt.

Starte mit dem günstigsten Test

Bevor du Hardware kaufst oder eine Maschine mietest, verbringe ein paar Minuten mit der API. Melde dich mit Google oder mit E-Mail und Passwort an, und beanspruche den Test auf der API-Schlüssel-Seite. Es sind $0,50, gültig für 7 Tage, einer pro Person, und benötigt keine Karte. Bei $0,0015 pro Anfrage sind das über 300 Anfragen.

Test-Schlüssel erlauben 2 parallele Anfragen und 60 pro Minute. Vollständige Schlüssel erlauben 8 und 300. Wenn du ein Limit überschreitest, erhältst du HTTP 429 mit rate_limited oder concurrency und ein 429 mit Retry-After: 5 bei temporärer Überlastung. Für einen breiteren Blick auf Modelle ohne Verweigerungen lies die Seite über das unzensierte KI-Modell.

Die API ist nur Text und hat eine harte Regel: keine sexuellen Inhalte, die Minderjährige einbeziehen.

Weitere Anleitungen

• Abliterated Models Download: Sichere Quellen und Prüfungen
• Die besten Abliterated Models für Coding: Was du beachten solltest