Come eseguire Abliterated Models: locale, cloud o API

Scegli un percorso prima

	Locale	GPU cloud in affitto	API ospitata
Costo iniziale	Hardware che potresti già possedere	Nessuna	Nessuna
Tempo di configurazione	Una sera	Una sera, più gestione del server remoto	Minuti
Costo continuativo	Elettricità	Orario mentre la macchina è in funzione	Per token
Abilità necessaria	Moderata	Moderata ad alta	Basso
Privacy	Più alta	Dipende dall'host	Lato server; i prompt non sono usati per l'addestramento

Se vuoi solo risposte da un modello che non rifiuta richieste legali per adulti, l'API è la strada più breve. Se vuoi sperimentare con i pesi, unire modelli o eseguire offline, vai locale. L'opzione GPU cloud si adatta a chi ha bisogno di un modello grande per poche ore e non vuole acquistare hardware.

Percorso 1: eseguirlo localmente

Hai bisogno dei pesi in un formato che il tuo runtime carica, e abbastanza memoria. La configurazione più comune è un file GGUF con llama.cpp o uno strumento basato su di esso, come Ollama o LM Studio.

1. Stima la memoria. I pesi richiedono circa parametri x bit per peso / 8. Un modello da 14B a 4-bit occupa circa 7 GB. Aggiungi qualche gigabyte per la cache del contesto.
2. Scarica un file quantizzato da una fonte di cui ti fidi. La pagina su cosa sia un modello abliterated spiega cosa contengono questi file.
3. Avvia un server. Con llama.cpp il comando assomiglia a quello sotto.
4. Punta la tua app su di esso. Il server espone un endpoint in stile OpenAI, così qualsiasi client compatibile si connette.

Copyllama-server -m ./weights-Q4_K_M.gguf -c 8192 -ngl 99 --port 8080

Qui -c imposta la lunghezza del contesto e -ngl 99 sposta tutti i layer sulla GPU se lo spazio lo consente. Riduci -ngl se vai in carenza di memoria e prevedi output più lenti se i layer restano sulla CPU.

I problemi locali comuni sono facili da riconoscere. Se il caricamento fallisce con un messaggio di out-of-memory, scegli una quantizzazione più piccola o riduci la lunghezza del contesto, poiché la cache scala con essa. Se l'output è dolorosamente lento, alcuni layer stanno girando sulla CPU, quindi controlla quanti sono stati scaricati. Se le risposte iniziano a ripetere, abbassa leggermente la temperatura e aumenta la penalità di ripetizione. E se il modello risponde in un formato strano, il template di chat potrebbe non corrispondere a quello che il modello si aspetta; la maggior parte dei runtime ti permette di impostarlo esplicitamente.

Locale è il migliore quando la privacy e l'uso offline contano, o quando possiedi già una scheda con 16 GB o più di memoria.

Percorso 2: affitta una GPU nel cloud

I servizi di noleggio ti permettono di avviare una macchina con una GPU grande e pagare a ore. I passaggi corrispondono al percorso locale, ma li fai su SSH su una macchina remota, e devi tenere la macchina in esecuzione mentre la usi. Quest'ultima parte è importante: paghi mentre è inattiva, quindi fermala quando finisci.

Una sessione di noleggio tipica procede così. Scegli una macchina con abbastanza memoria GPU per il tuo modello, avviala da un'immagine prebuild che ha già i driver installati, copia o scarica i pesi, avvia il server e connettiti tramite un tunnel SSH così la porta non sarà mai pubblica. Pianifica venti o trenta minuti solo per i download con un file grande, e la fatturazione di solito avanza durante quel periodo. Scrivi i passaggi in uno script una volta, così la prossima sessione partirà velocemente.

Controlla i prezzi orari attuali sul sito del provider, poiché cambiano spesso. Un noleggio ha senso per un lavoro una tantum come eseguire un modello grande attraverso un batch di documenti. Ha meno senso per una chat che apri poche volte al giorno, perché il contatore continua a correre tra le sessioni, e un volume di storage persistente per i pesi è spesso fatturato separatamente.

La sicurezza è su di te. Non esporre il server del modello a internet aperto senza autenticazione, perché chiunque trovi la porta può usare il tuo tempo GPU.

Strada 3: chiama un'API ospitata

Questo servizio ti offre un modello a pesi aperti, gestito da un provider indipendente e ottimizzato per rispondere senza filtri sui contenuti per uso legale per adulti. L'ID del modello è uncensored. Non è un'API ufficiale di alcun fornitore di modelli e non è un router tra diversi. L'URL di base è https://api.abliteratedmodels.cc/v1.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a candid technical assistant."},
        {"role": "user", "content": "Explain TCP slow start in five sentences."},
    ],
    temperature=0.7,
)
print(resp.choices[0].message.content)

La stessa richiesta con curl:

Copycurl https://api.abliteratedmodels.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}],"stream":false}'

Streaming, tool calling e modalità JSON funzionano come nell'API OpenAI. I dettagli sono nella documentazione.

Costo di ogni percorso, con il calcolo dei costi API

I costi locali e di noleggio dipendono dai prezzi che devi cercare da solo. Il costo API è semplice da calcolare. I tassi sono $0,15 per 1M di token di input e $0,50 per 1M di token di output.

Una richiesta di assistente di codifica con 8.000 token di contesto e una risposta di 600 token costa 8.000 / 1.000.000 x $0,15 = $0,0012 per input, più 600 / 1.000.000 x $0,50 = $0,0003 per output. Questo è $0,0015 per richiesta. Cento tali richieste al giorno per 30 giorni sono 3.000 richieste, o $4,50 al mese.

Il ricarico minimo è $20, che coprirebbe quell'utilizzo per più di quattro mesi, e il credito non scade mai. I bonus si applicano da $50: +5%, poi +10% da $100 e +15% da $200. Puoi pagare con cripto (USDT su TRC20, USDC su Base). Vedi la pagina dei prezzi per la tabella.

Quali modelli girano bene per la codifica

Se il tuo obiettivo è il codice, le dimensioni del modello e i dati di addestramento contano più del passaggio di abliterazione. Modelli più grandi scrivono codice più affidabile e hanno bisogno di più memoria localmente. Il confronto su i migliori modelli abliterati per la programmazione elenca cosa guardare. Quando testi i candidati, dai a ciascuno le stesse cinque o sei attività dal tuo lavoro reale: una correzione di bug, una funzione breve, un refactoring, una spiegazione di codice sconosciuto. Confronta i risultati, non il marketing.

L'opzione ospitata è utile come riferimento. Esegui il tuo set di compiti contro l'API prima, poi vedi se un modello locale che puoi permetterti lo raggiunge.

Inizia con il test più economico

Prima di acquistare hardware o noleggiare una macchina, spendi qualche minuto sull'API. Registrati con Google, o con email e password, poi reclama la prova sulla pagina della chiave API. Vale $0,50, valido per 7 giorni, uno per persona, e non richiede carta. A $0,0015 per richiesta, sono oltre 300 richieste.

Le chiavi di prova permettono 2 richieste parallele e 60 al minuto. Le chiavi complete permettono 8 e 300. Se superi un limite ottieni HTTP 429 con rate_limited o concurrency, e un 429 con Retry-After: 5 durante sovraccarico temporaneo. Per una visione più ampia sui modelli senza blocchi, leggi la pagina sul modello AI senza filtri.

L'API è solo testo e ha una regola fissa: nessun contenuto sessuale che coinvolga minorenni.

Altre guide

• Abliterated Models Download: Fonti sicure e verifiche
• Migliori modelli abliterati per la programmazione: cosa cercare