Abliterated Models Download: Sichere Quellen und Prüfungen

Woher die Leute normalerweise herunterladen

Die meisten ablierten Gewichte werden auf Hugging Face veröffentlicht, dem wichtigsten öffentlichen Hub für Open-Weight-Modelle, entweder als Full-Precision-Checkpoints oder als quantisierte GGUF-Dateien für llama.cpp, Ollama und LM Studio. Einige Uploader teilen Dateien auch über Torrents oder Dateihoster. Behandle diese mit größerer Vorsicht, da du die Modellseite, die Versionshistorie und die Community-Kommentare verlierst, die dir bei der Einschätzung einer Veröffentlichung helfen.

Ein Repository mit langer Historie, einer klaren Modellkarte und Diskussionsthreads, in denen andere berichten, wie es sich verhält, ist ein besseres Zeichen als ein neues Konto mit einem einzigen Upload und keiner Beschreibung. Du kannst mehr über die Technik in unserem Erklärer dazu lesen, was ein abliertes Modell ist.

Das Dateiformat entscheidet, wie viel Risiko du eingehst

Das Format ist wichtiger, als die meisten Leute erwarten.

• safetensors. Speichert rohe Tensoren und kann beim Laden keinen Code ausführen. Dies ist die sicherere Wahl für Gewichte in voller Präzision.
• GGUF. Ein Format für quantisierte Gewichte, das von llama.cpp und darauf aufbauenden Tools verwendet wird. Es ist ebenfalls nur Daten, kein ausführbarer Code, und die übliche Wahl für lokales Chatten.
• Pickle-basierte Dateien (.bin, .pt, .ckpt). Das Laden dieser Dateien mit gängigen Python-Tools kann beliebigen Code ausführen, der in der Datei eingebettet ist. Vermeide sie aus unbekannten Quellen oder lade sie nur in einer Sandbox.

Wenn ein Repository nur pickle-Dateien anbietet und du keine Safetensors- oder GGUF-Version findest, ist das ein Grund, woanders zu suchen. Sei auch vorsichtig bei jedem Repository, das ein benutzerdefiniertes Python-Loader-Skript zusammen mit den Gewichten ausliefert. Lies das Skript, bevor du es ausführst, oder führe es nicht aus.

Eine Checkliste vor dem Download

1. Lies die Modellkarte. Sie sollte das Basismodell, die zur Entfernung von Ablehnungen verwendete Methode und den Quantisierungsgrad nennen. Eine Karte, die nichts aussagt, ist ein Warnsignal.
2. Prüfe die Lizenz. Die ablierte Kopie erbt die Bedingungen des Basismodells. Einige Lizenzen schränken die kommerzielle Nutzung ein oder erfordern eine Quellenangabe. Wenn du ein Produkt entwickeln möchtest, lies sie zuerst.
3. Vergleiche den Namen des Basismodells mit der offiziellen Veröffentlichung. Ein Copycat-Uploader kann einen beliebten Namen an eine andere Datei hängen.
4. Schau dir die Dateiliste und die Größen an. Sie sollten der Parameteranzahl und der Quantisierung entsprechen. Eine 7B Q4-Datei mit 400 MB oder eine 70B-Datei mit 4 GB ist falsch.
5. Suche nach eine veröffentlichte Prüfsumme und überprüfe sie nach dem Download.
6. Schau in den Community-Bereich nach Berichten über fehlerhafte Ausgaben, Wiederholungen oder verstecktes Verhalten.

Berechne zuerst die Downloadgröße

Die ungefähre Dateigröße beträgt Parameter x Bits pro Gewicht / 8. Dies sind nur die Gewichte, und reale Dateien sind etwas größer.

Parameter	16-Bit	8-Bit	4-Bit
7B	14 GB	7 GB	3,5 GB
13B	26 GB	13 GB	6,5 GB
34B	68 GB	34 GB	17 GB
70B	140 GB	70 GB	35 GB

Du brauchst auch freien Speicherplatz für den Download und, wenn du selbst konvertierst oder quantisierst, für die Zwischen-Dateien. Der Speicherplatz geht mitten bei einem 70-GB-Transfer oft aus. Der Speicher zum Ausführen der Datei ist eine separate Frage: Die Gewichte müssen in die GPU oder den vereinheitlichten Speicher passen, mit zusätzlichem Platz für den Kontext-Cache.

Überprüfe die Datei nach der Ankunft

Lade in einen eigenen leeren Ordner herunter, halte deine Skripte woanders bereit und überprüfe den Hash, bevor du die Datei lädst.

Copyhuggingface-cli download some-user/some-repo-GGUF file-Q4_K_M.gguf --local-dir ./incoming
cd incoming
shasum -a 256 file-Q4_K_M.gguf
# compare the output with the checksum shown on the repository page

Wenn der Uploader keine Prüfsumme veröffentlicht, beweist der Hash nur, dass die Datei nicht während des Transports beschädigt wurde, nicht, dass sie das ist, was der Autor beabsichtigt hat. Für alles, wovon du abhängen willst, bevorzuge Uploader, deren Dateien auch von anderen Leuten gespiegelt oder diskutiert werden. Lade neue Dateien zuerst auf einer Maschine ohne Zugriff auf sensible Daten.

Mach dir Notizen darüber, was du heruntergeladen hast: den Repository-Namen, das Datum, den Dateinamen und den Hash. Wenn einen Monat später eine bessere Bearbeitung erscheint, willst du die beiden auf denselben Prompts vergleichen, und du willst genau wissen, welche Datei du zuerst getestet hast.

Teste schließlich das Verhalten. Führe zehn bis zwanzig Prompts aus deiner tatsächlichen Arbeit aus und lies die Ausgaben. Eine Datei kann intakt sein und dennoch eine schlechte Bearbeitung sein: unzusammenhängende Antworten, ständige Wiederholungen oder Ablehnungen, die nicht vollständig entfernt wurden.

Warnsignale, die dich stoppen sollten

Einige Signale reichen aus, um aufzuhören, ohne weitere Analysen.

• Das Repository bittet dich, die Sicherheitsprüfung zu deaktivieren, einen Installer auszuführen oder einen Befehl als Root in ein Terminal einzufügen.
• Der Download-Link verweist auf einen Dateihoster, der nicht die Repository-Seite ist, oder die Seite sagt dir, du sollst deine Antivirus-Software deaktivieren.
• Die Modellkarte verspricht „100 % unzensiert, kein Verlust“ oder eine andere Behauptung, die bei einer Bearbeitung der Gewichte nicht wahr sein kann. Jede Bearbeitung hat einen Trade-off, und ehrliche Karten sagen das auch.
• Neuuploads einer bekannten Veröffentlichung unter einem neuen Namen, mit einer anderen Dateigröße als das Original.
• Kein Lizenztext überhaupt, für ein Basismodell, von dem bekannt ist, dass es eine hat.

Auch bei sauberen Signalen führe neue Dateien mit der geringstmöglichen Berechtigung aus. Eine GGUF-Datei, die von einer aktuellen Version einer gängigen Laufzeitumgebung geöffnet wird, birgt ein geringes Risiko für Code-Ausführung, aber Laufzeitumgebungen hatten Fehler, also halte sie auf dem neuesten Stand. Wenn etwas falsch aussieht, lösche die Datei und wähle eine andere Quelle. Das erneute Herunterladen kostet Minuten; die Wiederherstellung von einer schlechten Datei auf einem Rechner, der deine Arbeit enthält, nicht.

Wann ein gehosteter Endpunkt Zeit spart

Das Herunterladen macht Sinn, wenn du Offline-Nutzung, volle Kontrolle über die Quantisierung möchtest oder wenn du planst, zu mergen und zu experimentieren. Wenn du nur ein Modell möchtest, das ohne Inhaltsfilter für die rechtmäßige Nutzung durch Erwachsene antwortet, spart dir eine gehostete API den Download, den Speicher, die Überprüfung und die Speicherplanung.

Dieser Dienst bietet ein Open-Weight-Modell an, betrieben von einem unabhängigen Anbieter, unter der ID uncensored. Es ist kein Spiegelbild der offiziellen API eines Anbieters. Du rufst es wie OpenAI auf:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "List five checks for a downloaded file."}],
)
print(r.choices[0].message.content)

Das Kontextfenster hat 100.000 Token. Streaming, Function Calling und JSON-Modus werden unterstützt, und Prompts werden nicht zum Training verwendet. Parameter und Limits findest du auf der Dokumentationsseite.

Was die API im Vergleich zu einem Download kostet

Es gibt keine Download-Kosten, aber du zahlst pro Token: $0,15 pro 1 Mio. Input-Token und $0,50 pro 1 Mio. Output-Token. Eine Anfrage mit 4.000 Input-Token und 800 Output-Token kostet 4.000 / 1.000.000 x $0,15 = $0,0006 plus 800 / 1.000.000 x $0,50 = $0,0004, also $0,001. Tausend davon kosten $1.

Die Mindestaufladung beträgt 20 $, mit +5 % ab 50 $, +10 % ab 100 $ und +15 % ab 200 $. Bezahle mit Krypto. Sieh dir die Preise für Details an. Um ohne Zahlung zu testen, fordere das 0,50-$-Testguthaben auf der API-Schlüssel-Seite nach der Anmeldung an; es ist 7 Tage gültig. Speziell für die Programmierung vergleicht die Seite zu ablierten Modellen für die Programmierung, worauf du achten solltest.

Weitere Anleitungen

• So führst du Abliterated Models aus: Lokal, Cloud oder API
• Die besten Abliterated Models für Coding: Was du beachten solltest