Abliterated Models Download: Veilige bronnen en controles

Waar mensen meestal downloaden

De meeste geablideerde gewichten worden gepubliceerd op Hugging Face, de belangrijkste publieke hub voor open-weight modellen, hetzij als checkpoints met volledige precisie of als gekwantificeerde GGUF-bestanden voor llama.cpp, Ollama en LM Studio. Sommige uploaders delen ook bestanden via torrents of file hosts. Behandel die met meer voorzichtigheid, omdat je dan de modelpagina, de versiegeschiedenis en de communitycommentaren mist die je helpen een release te beoordelen.

Een repository met een lange geschiedenis, een duidelijke modelkaart en discussies waarin anderen hun ervaringen delen, is een beter teken dan een nieuw account met één upload en geen beschrijving. Lees meer over de techniek in onze uitleg over wat een geablideerd model is.

Bestandsformaat bepaalt hoeveel risico je neemt

Het formaat is belangrijker dan de meeste mensen verwachten.

• safetensors. Slaat gewone tensors op en kan geen code uitvoeren wanneer deze wordt geladen. Dit is de veiligere keuze voor gewichten met volledige precisie.
• GGUF. Een formaat voor gekwantificeerde gewichten gebruikt door llama.cpp en tools die erop zijn gebouwd. Het is ook data, geen uitvoerbare code, en het is de gebruikelijke keuze voor lokale chats.
• Pickle-gebaseerde bestanden (.bin, .pt, .ckpt). Het laden van deze bestanden met veelgebruikte Python-tools kan willekeurige code uitvoeren die in het bestand is ingebed. Vermijd ze van onbekende bronnen, of laad ze alleen in een sandbox.

Als een repository alleen pickle-bestanden aanbiedt en je kunt geen safetensors- of GGUF-versie vinden, is dat een reden om elders te kijken. Wees ook voorzichtig met elke repository die een aangepaste Python-loader-script levert samen met de gewichten. Lees dat script voordat je het uitvoert, of voer het niet uit.

Een checklist voordat je downloadt

1. Lees de modelkaart. Deze moet de basisnaam van het model, de methode die is gebruikt om weigeringen te verwijderen, en het kwantisatieniveau vermelden. Een kaart die niets vermeldt, is een waarschuwingsteken.
2. Controleer de licentie. De geablideerde kopie neemt de voorwaarden van het basismodel over. Sommige licenties beperken commercieel gebruik of vereisen vermelding. Als je een product wilt bouwen, lees ze dan eerst.
3. Vergelijk de naam van het basismodel met de officiële release. Een kopieer-uploader kan een populaire naam aan een ander bestand plakken.
4. Kijk naar de bestandslijst en groottes. Deze moeten overeenkomen met het parameteraantal en de kwantificering. Een 7B Q4-bestand van 400 MB, of een 70B-bestand van 4 GB, is fout.
5. Zoek naar een gepubliceerde checksum en verifieer deze na de download.
6. Blader door het community-tabblad op rapporten over defecte uitvoer, herhaling of verborgen gedrag.

Bereken eerst de downloadgrootte

Geschatte bestandsgrootte is parameters x bits per gewicht / 8. Dit zijn alleen gewichten, en echte bestanden zijn iets groter.

Parameters	16-bit	8-bit	4-bit
7B	14 GB	7 GB	3,5 GB
13B	26 GB	13 GB	6,5 GB
34B	68 GB	34 GB	17 GB
70B	140 GB	70 GB	35 GB

Je hebt ook vrije schijfruimte nodig voor het downloaden en, als je zelf converteert of kwantificeert, voor de tussenbestanden. De schijfruimte opraken tijdens een transfer van 70 GB is een veelvoorkomend ergernis. Geheugen om het bestand uit te voeren is een aparte vraag: de gewichten moeten in GPU of unified memory passen, met extra ruimte voor de contextcache.

Verifieer het bestand na aankomst

Download in een eigen lege map, houd je scripts ergens anders en controleer de hash voordat je het bestand laadt.

Copyhuggingface-cli download some-user/some-repo-GGUF file-Q4_K_M.gguf --local-dir ./incoming
cd incoming
shasum -a 256 file-Q4_K_M.gguf
# compare the output with the checksum shown on the repository page

Als de uploader geen checksum publiceert, bewijst de hash alleen dat het bestand niet is beschadigd tijdens het verzenden, niet dat het is wat de auteur bedoelde. Voor alles waar je op wilt vertrouwen, geef de voorkeur aan uploaders waarvan de bestanden ook door anderen worden gespiegeld of besproken. Laad nieuwe bestanden eerst op een machine zonder toegang tot gevoelige gegevens.

Bewaar een notitie van wat je hebt gedownload: de repositorynaam, de datum, de bestandsnaam en de hash. Als een betere edit een maand later verschijnt, wil je de twee op dezelfde prompts vergelijken, en wil je precies weten welk bestand je eerst hebt getest.

Test tot slot het gedrag. Voer tien tot twintig prompts uit je daadwerkelijke werk uit en lees de uitvoer. Een bestand kan intact zijn en toch een slechte edit zijn: incoherente antwoorden, constante herhaling of weigeringen die niet volledig zijn verwijderd.

Rode vlaggen die je moeten tegenhouden

Sommige signalen zijn genoeg om weg te lopen zonder verdere analyse.

• De repository vraagt je om beveiligingsscans uit te schakelen, een installatieprogramma uit te voeren of een commando in een terminal als root te plakken.
• De downloadlink wijst naar een file host die niet de repositorypagina is, of de pagina vertelt je je antivirus uit te schakelen.
• De modelkaart belooft "100% ongecensureerd, nul verlies" of een andere bewering die niet waar kan zijn van een edit op de gewichten. Elke edit heeft een afweging, en eerlijke kaarten zeggen dit.
• Herupload van een bekende release onder een nieuwe naam, met een andere bestandsgrootte dan het origineel.
• Geen licentietekst helemaal, voor een basismodel dat bekend is om er een te hebben.

Zelfs met onbesmette signalen, open nieuwe bestanden met de minste toegang die je ze kunt geven. Een GGUF geopend door een huidige versie van een mainstream runtime brengt weinig risico op code-uitvoering met zich mee, maar runtimes hebben bugs gehad, dus houd ze bijgewerkt. Als iets verkeerd lijkt, verwijder het bestand dan en kies een andere bron. Herdownloaden kost minuten; herstellen van een slecht bestand op een machine met je werk kost meer tijd.

Wanneer een gehost endpoint tijd bespaart

Downloaden heeft zin als je offline gebruik wilt, volledige controle over kwantisering, of als je van plan bent te mergen en te experimenteren. Als je alleen een model wilt dat antwoordt zonder weigeringen voor legaal gebruik door volwassenen, bespaart een gehoste API het downloaden, de opslag, de verificatie en de geheugenplanning.

Deze dienst biedt één open-weight model, uitgevoerd door een onafhankelijke provider, onder de ID uncensored. Het is geen spiegel van de officiële API van een leverancier. Je roept het aan zoals OpenAI:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "List five checks for a downloaded file."}],
)
print(r.choices[0].message.content)

Het contextvenster is 100.000 tokens. Streaming, tool calling en JSON-modus worden ondersteund, en prompts worden niet gebruikt voor training. Parameters en limieten staan op de documentatiepagina.

Wat de API kost tegen een download

Er zijn geen downloadkosten, maar je betaalt per token: $0,15 per 1M invoertokens en $0,50 per 1M uitvoertokens. Een verzoek met 4.000 invoertokens en 800 uitvoertokens kost 4.000 / 1.000.000 x $0,15 = $0,0006 plus 800 / 1.000.000 x $0,50 = $0,0004, dus $0,001. Een duizendtal daarvan kost $1.

De minimale top-up is $20, met +5% vanaf $50, +10% vanaf $100 en +15% vanaf $200. Betaal met crypto. Zie prijzen voor details. Om te testen zonder betaling, vraag de proef van $0,50 aan op de API-sleutelpagina na het inloggen; deze is 7 dagen geldig. Voor specifiek codeergebruik vergelijkt de pagina over geablideerde modellen voor coderen wat je moet zoeken.

Meer handleidingen

• Hoe Abliterated-modellen uit te voeren: Lokaal, Cloud of API
• Beste Abliterated-modellen voor coderen: waar je op moet letten