Téléchargement Abliterated Models : sources sûres et vérifications

D'où les gens téléchargent habituellement

La plupart des poids ablitrés sont publiés sur Hugging Face, le principal hub public pour les modèles à poids ouverts, soit sous forme de points de contrôle en précision complète, soit sous forme de fichiers GGUF quantifiés pour llama.cpp, Ollama et LM Studio. Certains téléverseurs partagent également des fichiers sur des torrents ou des hébergeurs de fichiers. Traitez ceux-ci avec plus de prudence, car vous perdez la page du modèle, l'historique des versions et les commentaires de la communauté qui vous aident à juger une publication.

Un dépôt avec un historique long, une fiche modèle claire et des fils de discussion où d'autres rapportent son comportement est un meilleur signe qu'un nouveau compte avec un seul téléchargement et aucune description. Vous pouvez en lire plus sur la technique dans notre explication sur ce qu'est un modèle ablitré.

Le format de fichier détermine le risque que vous prenez

Le format est plus important que la plupart des gens ne l'imaginent.

• safetensors. Stocke des tenseurs bruts et ne peut pas exécuter de code lors du chargement. C'est le choix plus sûr pour les poids en précision complète.
• GGUF. Un format pour les poids quantifiés utilisé par llama.cpp et les outils qui s'y basent. C'est aussi des données, pas du code exécutable, et c'est le choix habituel pour le chat local.
• Fichiers basés sur Pickle (.bin, .pt, .ckpt). Le chargement de ceux-ci avec des outils Python courants peut exécuter du code arbitraire intégré au fichier. Évitez-les provenant de sources inconnues, ou chargez-les uniquement dans un bac à sable.

Si un dépôt propose uniquement des fichiers pickle et que vous ne trouvez pas de version safetensors ou GGUF, c'est une raison de chercher ailleurs. Soyez également prudent avec tout dépôt qui fournit un script de chargeur Python personnalisé avec les poids. Lisez ce script avant de l'exécuter, ou ne l'exécutez pas.

Une liste de contrôle avant le téléchargement

1. Lisez la fiche du modèle. Elle doit nommer le modèle de base, la méthode utilisée pour retirer les refus et le niveau de quantification. Une fiche qui ne dit rien est un signe d'alerte.
2. Vérifiez la licence. La copie ablitrée hérite des conditions du modèle de base. Certaines licences restreignent l'utilisation commerciale ou exigent une attribution. Si vous prévoyez de créer un produit, lisez-les d'abord.
3. Comparez le nom du modèle de base avec la publication officielle. Un téléverseur plagiaire peut attacher un nom populaire à un fichier différent.
4. Consultez la liste des fichiers et leurs tailles. Elles doivent correspondre au nombre de paramètres et à la quantification. Un fichier 7B Q4 de 400 Mo, ou un fichier 70B de 4 Go, est incorrect.
5. Recherchez une somme de contrôle publiée et vérifiez-la après le téléchargement.
6. Parcourez l'onglet communauté pour les rapports de sorties incorrectes, de répétitions ou de comportements cachés.

Calculez la taille du téléchargement d'abord

La taille approximative du fichier est le nombre de paramètres x bits par poids / 8. Ce ne sont que les poids, et les fichiers réels sont légèrement plus volumineux.

Paramètres	16-bit	8-bit	4-bit
7B	14 Go	7 Go	3,5 Go
13B	26 Go	13 Go	6,5 Go
34B	68 Go	34 Go	17 Go
70B	140 Go	70 Go	35 Go

Vous avez également besoin d'espace disque disponible pour le téléchargement et, si vous convertissez ou quantifiez vous-même, pour les fichiers intermédiaires. Tomber à court d'espace à mi-parcours d'un transfert de 70 Go est une nuisance courante. La mémoire pour exécuter le fichier est une question séparée : les poids doivent tenir dans la mémoire GPU ou unifiée, avec de l'espace supplémentaire pour le cache de contexte.

Vérifiez le fichier après son arrivée

Téléchargez dans un dossier vide dédié, gardez vos scripts ailleurs, et vérifiez la somme de contrôle avant de charger le fichier.

Copyhuggingface-cli download some-user/some-repo-GGUF file-Q4_K_M.gguf --local-dir ./incoming
cd incoming
shasum -a 256 file-Q4_K_M.gguf
# compare the output with the checksum shown on the repository page

Si le contributeur ne publie pas de somme de contrôle, le hachage prouve seulement que le fichier n'a pas été corrompu en transit, pas qu'il correspond à l'intention de l'auteur. Pour tout ce sur quoi vous comptez, préférez les contributeurs dont les fichiers sont aussi mis en miroir ou discutés par d'autres. Chargez les nouveaux fichiers d'abord sur une machine sans accès à des données sensibles.

Prenez note de ce que vous avez téléchargé : le nom du dépôt, la date, le nom du fichier et le hachage. Lorsqu'une meilleure version apparaît un mois plus tard, vous voudrez comparer les deux sur les mêmes prompts, et vous devrez savoir exactement quel fichier vous avez testé en premier.

Enfin, testez le comportement. Exécutez dix à vingt prompts de votre travail réel et lisez les sorties. Un fichier peut être intact et être néanmoins une mauvaise édition : des réponses incohérentes, des répétitions constantes, ou des refus qui n'ont pas été entièrement retirés.

Signaux d'alerte qui devraient vous arrêter

Certains signaux suffisent pour partir sans analyse supplémentaire.

• Le dépôt vous demande de désactiver l'analyse de sécurité, d'exécuter un installateur, ou de coller une commande dans un terminal en tant que root.
• Le lien de téléchargement pointe vers un hébergeur de fichiers qui n'est pas la page du dépôt, ou la page vous dit de désactiver votre antivirus.
• La fiche du modèle promet « 100 % sans censure, aucune perte » ou toute autre affirmation qui ne peut pas être vraie pour une édition de poids. Chaque édition a un compromis, et les fiches honnêtes le disent.
• Réimportations d'une version connue sous un nouveau nom, avec une taille de fichier différente de l'original.
• Aucun texte de licence du tout, pour un modèle de base connu pour en avoir un.

Même avec des signaux propres, exécutez les nouveaux fichiers avec le moins d'accès possible. Un GGUF ouvert par une version actuelle d'un runtime grand public comporte peu de risques d'exécution de code, mais les runtimes ont eu des bugs, alors gardez-les à jour. Si quelque chose semble incorrect, supprimez le fichier et choisissez une autre source. Le re-téléchargement coûte quelques minutes ; la récupération depuis un mauvais fichier sur une machine contenant votre travail, non.

Quand un endpoint hébergé économise du temps

Le téléchargement a du sens quand vous voulez une utilisation hors ligne, un contrôle total sur la quantification, ou si vous prévoyez de fusionner et d'expérimenter. Si vous voulez seulement un modèle qui répond sans refus de contenu pour une utilisation adulte légale, une API hébergée économise le téléchargement, le stockage, la vérification et la planification de la mémoire.

Ce service sert un seul modèle à poids ouverts, exécuté par un fournisseur indépendant, sous l'ID uncensored. Ce n'est pas un miroir de l'API officielle d'un fournisseur. Vous l'appelez comme OpenAI :

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "List five checks for a downloaded file."}],
)
print(r.choices[0].message.content)

La fenêtre de contexte est de 100 000 tokens. Le streaming, l'appel de fonctions et le mode JSON sont pris en charge, et les prompts ne sont pas utilisés pour l'entraînement. Les paramètres et les limites sont sur la page de documentation.

Ce que coûte l'API par rapport à un téléchargement

Il n'y a pas de coût de téléchargement, mais vous payez par token : $0,15 par 1 M d'entrée et $0,50 par 1 M de sortie. Une requête avec 4 000 tokens d'entrée et 800 tokens de sortie coûte 4 000 / 1 000 000 x $0,15 = $0,0006 plus 800 / 1 000 000 x $0,50 = $0,0004, soit $0,001. Un millier de ceux-ci coûtent $1.

Le rechargement minimum est de 20 $, avec +5 % à partir de 50 $, +10 % à partir de 100 $ et +15 % à partir de 200 $. Payez par crypto. Consultez les tarifs pour plus de détails. Pour tester sans paiement, obtenez le crédit d'essai de 0,50 $ sur la page de la clé API après vous être connecté ; il est valable 7 jours. Pour l'utilisation spécifique au codage, la page sur les modèles ablitrés pour le codage compare ce qu'il faut rechercher.

Plus de guides

• Comment exécuter Abliterated Models : local, cloud ou API
• Meilleurs Abliterated Models pour le codage : ce qu'il faut rechercher