Comment exécuter Abliterated Models : en local, dans le cloud ou via API

Choisissez d'abord une route

	Local	GPU cloud loué	API hébergée
Coût initial	Matériel que vous possédez peut-être déjà	Aucun	Aucun
Temps de configuration	Une soirée	Une soirée, plus l'entretien du serveur distant	Minutes
Coût continu	Électricité	Tarif horaire tant que la machine tourne	Par token
Compétence requise	Modéré	Modérée à élevée	Faible
Confidentialité	Le plus élevé	Dépend de l'hébergeur	Côté serveur ; les prompts ne sont pas utilisés pour l'entraînement

Si vous souhaitez uniquement des réponses d’un modèle qui n’accepte pas les requêtes légales des adultes, l’API est le chemin le plus court. Si vous voulez expérimenter les poids, fusionner des modèles ou exécuter localement, passez en local. L’option GPU cloud convient aux personnes qui ont besoin d’un grand modèle pendant quelques heures et ne veulent pas acheter de matériel.

Route 1 : l'exécuter en local

Vous avez besoin des poids dans un format que votre runtime charge, et suffisamment de mémoire. La configuration la plus courante est un fichier GGUF avec llama.cpp ou un outil basé dessus, comme Ollama ou LM Studio.

1. Évaluez la mémoire. Les poids prennent environ paramètres x bits par poids / 8. Un modèle 14B en 4 bits fait environ 7 Go. Ajoutez quelques gigaoctets pour le cache de contexte.
2. Téléchargez un fichier quantifié depuis une source de confiance. La page sur ce qu’est un modèle ablitré explique ce que contiennent ces fichiers.
3. Démarrez un serveur. Avec llama.cpp, la commande ressemble à celle ci-dessous.
4. Pointez votre application vers celui-ci. Le serveur expose un endpoint de style OpenAI, donc n’importe quel client compatible se connecte.

Copyllama-server -m ./weights-Q4_K_M.gguf -c 8192 -ngl 99 --port 8080

Ici -c définit la longueur du contexte et -ngl 99 décharge toutes les couches sur le GPU si elles tiennent. Réduisez -ngl si vous manquez de mémoire, et attendez-vous à une sortie plus lente lorsque des couches restent sur le CPU.

Les problèmes locaux courants sont faciles à reconnaître. Si le chargement échoue avec un message de mémoire insuffisante, choisissez une quantification plus petite ou réduisez la longueur de contexte, car le cache évolue avec elle. Si la sortie est douloureusement lente, certaines couches fonctionnent sur le CPU, vérifiez donc combien sont déchargées. Si les réponses dérivent vers la répétition, réduisez légèrement la température et augmentez la pénalité de répétition. Et si le modèle répond dans un format étrange, le modèle de chat peut ne pas correspondre à celui attendu par le modèle ; la plupart des runtimes permettent de le définir explicitement.

Le local est idéal lorsque la confidentialité et l’utilisation hors ligne comptent, ou lorsque vous possédez déjà une carte avec 16 Go de mémoire ou plus.

Route 2 : louer un GPU dans le cloud

Les services de location vous permettent de démarrer une machine avec un grand GPU et de payer à l’heure. Les étapes correspondent au parcours local, mais vous les effectuez via SSH sur une machine distante, et vous devez maintenir la machine en marche pendant que vous l’utilisez. Ce dernier point est important : vous payez pendant qu’elle est inactive, alors arrêtez-la lorsque vous avez terminé.

Une session de location typique se déroule ainsi. Vous choisissez une machine avec suffisamment de mémoire GPU pour votre modèle, la démarrez à partir d'une image préconstruite ayant déjà les pilotes installés, copiez ou téléchargez les poids, lancez le serveur, et connectez-vous via un tunnel SSH pour que le port ne soit jamais public. Prévoyez vingt à trente minutes pour les téléchargements seulement avec un gros fichier, et la facturation s'applique généralement pendant ce temps. Écrivez les étapes dans un script une fois, pour que la prochaine session démarre rapidement.

Vérifiez les prix horaires actuels sur le site du fournisseur, car ils changent souvent. Une location a du sens pour un travail ponctuel comme exécuter un grand modèle sur un lot de documents. Elle a moins de sens pour un chat que vous ouvrez quelques fois par jour, car le compteur continue de tourner entre les sessions, et un volume de stockage persistant pour les poids est souvent facturé séparément.

La sécurité vous concerne. N'exposez pas le serveur de modèle à Internet sans authentification, car n'importe qui qui trouve le port peut utiliser votre temps GPU.

Voie 3 : appelez une API hébergée

Ce service vous donne un modèle à poids ouverts, exécuté par un fournisseur indépendant et conçu pour répondre sans refus de contenu pour une utilisation adulte légale. L’ID du modèle est uncensored. Ce n’est pas une API officielle d’un fournisseur de modèle et ce n’est pas un routeur entre plusieurs. L’URL de base est https://api.abliteratedmodels.cc/v1.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a candid technical assistant."},
        {"role": "user", "content": "Explain TCP slow start in five sentences."},
    ],
    temperature=0.7,
)
print(resp.choices[0].message.content)

La même requête avec curl :

Copycurl https://api.abliteratedmodels.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}],"stream":false}'

Le streaming, l’appel de fonctions et le mode JSON fonctionnent comme dans l’API OpenAI. Les détails sont dans la documentation.

Coût de chaque option, avec les calculs API

Les coûts locaux et de location dépendent des prix que vous devez rechercher vous-même. Le coût API est simple à calculer. Les tarifs sont de $0,15 par 1 M de tokens d'entrée et de $0,50 par 1 M de tokens de sortie.

Une demande d’assistant de codage avec 8 000 tokens de contexte et une réponse de 600 tokens coûte 8 000 / 1 000 000 x $0,15 = $0,0012 pour l’entrée, plus 600 / 1 000 000 x $0,50 = $0,0003 pour la sortie. Cela représente $0,0015 par demande. Cent de ces demandes par jour pendant 30 jours, c’est 3 000 demandes, soit $4,50 par mois.

Le rechargement minimum est de 20 $, ce qui couvrirait cette utilisation pendant plus de quatre mois, et le crédit n’expire jamais. Des bonus s’appliquent à partir de 50 $ : +5 %, puis +10 % à partir de 100 $ et +15 % à partir de 200 $. Vous pouvez payer par crypto (USDT sur TRC20, USDC sur Base). Consultez la page des tarifs pour le tableau.

Quels modèles fonctionnent bien pour le codage

Si votre objectif est le code, la taille du modèle et les données d’entraînement sont plus importants que l’étape d’abliteration. Les modèles plus grands génèrent du code plus fiable et nécessitent plus de mémoire localement. La comparaison sur les meilleurs modèles abliterés pour le code liste ce qu’il faut examiner. Lorsque vous testez des candidats, donnez à chacun les mêmes cinq ou six tâches de votre travail réel : une correction de bug, une courte fonction, une refactorisation, une explication de code inconnu. Comparez les résultats, pas le marketing.

L'option hébergée est utile comme référence. Testez d'abord votre ensemble de tâches sur l'API, puis voyez si un modèle local que vous pouvez vous permettre correspond.

Commencez par le test le moins cher

Avant d’acheter du matériel ou de louer une machine, passez quelques minutes sur l’API. Inscrivez-vous avec Google, ou avec e-mail et mot de passe, puis réclamez l’essai sur la page de la clé API. Il s’agit de $0,50, valable 7 jours, une par personne, sans besoin de carte. À $0,0015 par requête, cela représente plus de 300 requêtes.

Les clés d’essai permettent 2 requêtes concurrentes et 60 par minute. Les clés complètes permettent 8 et 300. Si vous dépassez une limite, vous obtenez un HTTP 429 avec rate_limited ou concurrency, et un 429 avec Retry-After: 5 en cas de surcharge temporaire. Pour une vue plus large des modèles sans refus, lisez la page sur le modèle IA sans filtre.

L'API est uniquement textuelle et a une règle stricte : pas de contenu sexuel impliquant des mineurs.

Plus de guides

• Téléchargement des modèles abliterés : sources sûres et vérifications
• Meilleurs modèles abliterés pour le codage : ce qu'il faut rechercher