Scarica Abliterated Models: fonti sicure e verifiche

Dove le persone scaricano di solito

La maggior parte dei pesi ablati viene pubblicata su Hugging Face, il principale hub pubblico per i modelli a pesi aperti, sia come checkpoint a precisione completa sia come file GGUF quantizzati per llama.cpp, Ollama e LM Studio. Alcuni caricano anche i file tramite torrent o servizi di hosting file. Trattali con maggiore cautela, perché perdi la pagina del modello, la cronologia delle versioni e i commenti della community che ti aiutano a valutare una versione.

Un repository con una lunga storia, una scheda del modello chiara e thread di discussione dove altre persone riportano come si comporta è un segnale migliore rispetto a un account nuovo con un solo upload e nessuna descrizione. Puoi leggere di più sulla tecnica nella nostra spiegazione su cosa sia un modello abliterato.

Il formato del file determina il rischio

Il formato è più importante di quanto molti si aspettino.

• safetensors. Memorizza tensori grezzi e non può eseguire codice quando viene caricato. Questa è la scelta più sicura per i pesi a precisione completa.
• GGUF. Un formato per pesi quantizzati utilizzato da llama.cpp e strumenti basati su di esso. È anche solo dati, non codice eseguibile, ed è la scelta solita per la chat locale.
• File basati su pickle (.bin, .pt, .ckpt). Il caricamento di questi file con strumenti Python comuni può eseguire codice arbitrario incorporato nel file. Evitali se provengono da fonti sconosciute, oppure caricali solo in un sandbox.

Se un repository offre solo file pickle e non riesci a trovare una versione safetensors o GGUF, è un motivo per cercare altrove. Fai anche attenzione a qualsiasi repository che fornisce uno script di caricamento Python personalizzato insieme ai pesi. Leggi quello script prima di eseguirlo, oppure non eseguirlo.

Una checklist prima del download

1. Leggi la scheda del modello. Dovrebbe indicare il modello di base, il metodo usato per rimuovere i rifiuti e il livello di quantizzazione. Una scheda che non dice nulla è un segnale d'allarme.
2. Controlla la licenza. La copia abliterata eredita i termini del modello di base. Alcune licenze limitano l'uso commerciale o richiedono l'attribuzione. Se prevedi di creare un prodotto, leggile prima.
3. Confronta il nome del modello di base con il rilascio ufficiale. Un uploader copia può attaccare un nome popolare a un file diverso.
4. Guarda l'elenco dei file e le dimensioni. Dovrebbero corrispondere al conteggio dei parametri e alla quantizzazione. Un file Q4 da 7B di 400 MB, o un file da 70B di 4 GB, è errato.
5. Cerca un checksum pubblicato e verificane il valore dopo il download.
6. Scorri la scheda community per le segnalazioni di output difettosi, ripetizioni o comportamenti nascosti.

Calcola prima la dimensione del download

La dimensione approssimativa del file è parametri x bit per peso / 8. Questi sono solo i pesi e i file reali sono leggermente più grandi.

Parametri	16-bit	8-bit	4-bit
7B	14 GB	7 GB	3,5 GB
13B	26 GB	13 GB	6,5 GB
34B	68 GB	34 GB	17 GB
70B	140 GB	70 GB	35 GB

Hai anche bisogno di spazio disco libero per il download e, se converti o quantifichi tu stesso, per i file intermedi. Restare senza spazio a metà di un trasferimento da 70 GB è un fastidio comune. La memoria per eseguire il file è una domanda separata: i pesi devono adattarsi alla GPU o alla memoria unificata, con spazio extra per la cache del contesto.

Verifica il file dopo l'arrivo

Scarica in una cartella vuota separata, tieni gli script da un'altra parte e controlla l'hash prima di caricare il file.

Copyhuggingface-cli download some-user/some-repo-GGUF file-Q4_K_M.gguf --local-dir ./incoming
cd incoming
shasum -a 256 file-Q4_K_M.gguf
# compare the output with the checksum shown on the repository page

Se l'uploader non pubblica un checksum, l'hash prova solo che il file non si è corrotto durante il trasferimento, non che corrisponda all'intenzione dell'autore. Per qualsiasi cosa su cui prevedi di fare affidamento, preferisci uploader i cui file sono anche presenti in mirror o discussi da altre persone. Carica i nuovi file prima su una macchina senza accesso a dati sensibili.

Prendi nota di cosa hai scaricato: il nome del repository, la data, il nome del file e l'hash. Quando una versione migliore apparirà un mese dopo, vorrai confrontare le due sullo stesso prompt e vorrai sapere esattamente quale file hai testato per primo.

Infine, testa il comportamento. Esegui da dieci a venti prompt dal tuo lavoro effettivo e leggi gli output. Un file può essere intatto ed essere comunque una cattiva modifica: risposte incoerenti, ripetizioni costanti o rifiuti che non sono stati completamente rimossi.

Campanelli d'allarme che dovrebbero fermarti

Alcuni segnali sono sufficienti per andarsene senza ulteriori analisi.

• Il repository ti chiede di disabilitare la scansione di sicurezza, eseguire un installer o incollare un comando in un terminale come root.
• Il link di download punta a un file host che non è la pagina del repository, o la pagina ti dice di disabilitare l'antivirus.
• La scheda del modello promette "100% senza censura, zero perdita" o qualsiasi altra affermazione che non può essere vera per una modifica ai pesi. Ogni modifica ha un compromesso, e le schede oneste lo dicono.
• Ricaricamenti di una versione nota sotto un nuovo nome, con una dimensione del file diversa dall'originale.
• Nessun testo di licenza affatto, per un modello base noto per averne uno.

Anche con segnali puliti, carica i nuovi file con il minimo accesso possibile. Un file GGUF aperto con una versione corrente di un runtime mainstream comporta un rischio minimo di esecuzione di codice, ma i runtime hanno avuto bug, quindi mantienili aggiornati. Se qualcosa sembra sbagliato, elimina il file e scegli un'altra fonte. Riscaricare costa minuti; recuperare da un file difettoso su una macchina che contiene il tuo lavoro non lo è.

Quando un endpoint ospitato fa risparmiare tempo

Il download ha senso quando vuoi un uso offline, il controllo completo sulla quantizzazione o prevedi di fondere ed esperimentare. Se vuoi solo un modello che risponda senza blocchi sui contenuti per uso adulto lecito, un'API ospitata risparmia il download, lo storage, la verifica e la pianificazione della memoria.

Questo servizio offre un modello a pesi aperti, gestito da un provider indipendente, con l'ID uncensored. Non è un mirror dell'API ufficiale di alcun fornitore. Lo chiami come OpenAI:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "List five checks for a downloaded file."}],
)
print(r.choices[0].message.content)

La finestra di contesto è di 100.000 token. Sono supportati streaming, tool calling e modalità JSON e i prompt non sono utilizzati per l'addestramento. Parametri e limiti sono nella pagina della documentazione.

Quanto costa l'API rispetto a un download

Non ci sono costi di download, ma paghi per token: $0,15 per 1M di input e $0,50 per 1M di output. Una richiesta con 4.000 token di input e 800 token di output costa 4.000 / 1.000.000 x $0,15 = $0,0006 più 800 / 1.000.000 x $0,50 = $0,0004, quindi $0,001. Un migliaio di quelle costa $1.

Il ricarico minimo è di $20, con +5% da $50, +10% da $100 e +15% da $200. Paga con cripto. Vedi prezzi per i dettagli. Per testare senza pagamento, richiedi il credito di prova da $0,50 nella pagina della chiave API dopo l'accesso; è valido per 7 giorni. Per l'uso specifico nella programmazione, la pagina sui modelli abliterati per la programmazione confronta cosa cercare.

Altre guide

• Come eseguire Abliterated Models: locale, cloud o API
• Miglior Abliterated Models per la programmazione: cosa cercare