Abliterated Models İndirme: Güvenli Kaynaklar ve Kontroller

İnsanların genellikle indirme yaptığı yerler

Çoğu abliterasyon uygulanmış ağırlık, açık ağırlıklı modeller için ana halka açık merkez olan Hugging Face'de yayınlanır; ya tam hassasiyetli checkpoint'ler olarak ya da llama.cpp, Ollama ve LM Studio için niceye indirgenmiş GGUF dosyaları olarak. Bazı yükleyiciler ayrıca dosyaları torrentlerde veya dosya barındırma servislerinde de paylaşır. Bu dosyaları daha dikkatli karşılayın, çünkü model sayfasını, sürüm geçmişini ve bir yayını değerlendirmenize yardımcı olan topluluk yorumlarını kaybedersiniz.

Uzun bir geçmişe sahip bir depo, açık bir model kartı ve diğer insanların davranışını raporladığı tartışma konuları, tek bir yükleme ve açıklama olmayan yeni bir hesaptan daha iyi bir işaretdir. Abliterasyon uygulanmış bir modelin ne olduğunu açıklayan açıklamamızda bu teknik hakkında daha fazla bilgi edinebilirsiniz.

Dosya formatı riskinizi belirler

Format, çoğu insanın beklediğinden daha önemlidir.

• safetensors. Ham tensörleri depolar ve yüklendiğinde kod çalıştıramaz. Bu, tam hassasiyetli ağırlıklar için daha güvenli seçenektir.
• GGUF. llama.cpp ve üzerine inşa edilmiş araçlar tarafından kullanılan quantize edilmiş ağırlıklar için bir format. Bu da bir veridir, yürütülebilir kod değil ve yerel sohbet için genellikle tercih edilen seçenektir.
• Pickle tabanlı dosyalar (.bin, .pt, .ckpt). Bu dosyaları yaygın Python araçlarıyla yüklemek, dosyaya gömülü herhangi bir kodu çalıştırabilir. Bilinmeyen kaynaklardan bunlardan kaçının veya yalnızca bir sandbox içinde yükleyin.

Bir depo yalnızca pickle dosyaları sunuyorsa ve safetensors veya GGUF sürümünü bulamıyorsanız, bu başka bir yere bakmak için bir nedendir. Ayrıca ağırlıklarla birlikte özel bir Python yükleyici betiği sunan herhangi bir depoya dikkat edin. Çalıştırmadan önce bu betiği okuyun veya çalıştırmayın.

İndirmeden önce bir kontrol listesi

1. Model kartını okuyun. Temel modeli, reddi kaldırmak için kullanılan yöntemi ve niceleme seviyesini belirtmelidir. Hiçbir şey söylemeyen bir kart bir uyarı işaretidir.
2. Lisansı kontrol edin. Abliterasyon uygulanmış kopya, temel modelin şartlarını miras alır. Bazı lisanslar ticari kullanımı kısıtlar veya atıf gerektirir. Bir ürün oluşturmayı planlıyorsanız, önce okuyun.
3. Temel model adını resmi sürümle karşılaştırın. Bir taklit yükleyici, farklı bir dosyaya popüler bir ad ekliyor olabilir.
4. Dosya listesine ve boyutlarına bakın. Parametre sayısı ve quantizasyonla eşleşmelidir. 400 MB'lık bir 7B Q4 dosyası veya 4 GB'lık bir 70B dosyası yanlıştır.
5. Yayınlanmış bir checksum arayın ve indirdikten sonra doğrulayın.
6. Topluluk sekmesine göz gezdirin bozuk çıktı, tekrar veya gizli davranış raporları için.

İndirme boyutunu önceden hesaplayın

Yaklaşık dosya boyutu parametre x bit / ağırlık başına / 8'dir. Bunlar yalnızca ağırlıklardır ve gerçek dosyalar biraz daha büyük olur.

Parametreler	16-bit	8-bit	4-bit
7B	14 GB	7 GB	3.5 GB
13B	26 GB	13 GB	6.5 GB
34B	68 GB	34 GB	17 GB
70B	140 GB	70 GB	35 GB

İndirme için ayrıca boş diske ve kendiniz dönüştürür veya nice alırsanız ara dosyalar için de ihtiyacınız vardır. 70 GB'lık bir transferin ortasında alanın bitmesi yaygın bir can sıkıntısıdır. Dosyayı çalıştırmak için bellek ayrı bir konudur: ağırlıklar GPU veya birleşik belleğe sığmalı ve bağlam önbelleği için ekstra alan bırakmalıdır.

Dosya ulaştıktan sonra doğrulayın

Kendi boş klasörüne indirin, betiklerinizi başka bir yere koyun ve dosyayı yüklemeden önce hash'i kontrol edin.

Copyhuggingface-cli download some-user/some-repo-GGUF file-Q4_K_M.gguf --local-dir ./incoming
cd incoming
shasum -a 256 file-Q4_K_M.gguf
# compare the output with the checksum shown on the repository page

Yükleyici bir checksum yayınlamıyorsa, hash yalnızca dosyanın aktarım sırasında bozulmadığını kanıtlar, yazarın kastettiği şey olduğunu değil. Güvendiğiniz her şey için, dosyaları başkaları tarafından da yansıtılan veya tartışılan yükleyicileri tercih edin. Yeni dosyaları önce hassas veriye erişimi olmayan bir makinede yükleyin.

Ne indirdiğinize dair bir not tutun: depo adı, tarih, dosya adı ve hash. Bir ay sonra daha iyi bir düzenleme ortaya çıktığında, ikisini aynı istemlerde karşılaştırmak isteyecek ve ilk test ettiğiniz dosyanın tam olarak hangisi olduğunu bilmek isteyeceksiniz.

Son olarak, davranışı test edin. Gerçek işinizden on ila yirmi istem çalıştırın ve çıktıları okuyun. Bir dosya sağlam olabilir ve yine de kötü bir düzenleme olabilir: tutarsız yanıtlar, sürekli tekrar veya tamamen kaldırılmamış reddetmeler.

Sizi durdurması gereken kırmızı bayraklar

Bazı sinyaller, daha fazla analiz yapmadan ayrılmak için yeterlidir.

• Depo güvenlik taramasını devre dışı bırakmanızı, bir yükleyici çalıştırmanızı veya bir komutu root olarak bir terminale yapıştırmanızı ister.
• İndirme bağlantısı, depo sayfası olmayan bir dosya barındırma servisine işaret eder veya sayfa antivirüsünüzü devre dışı bırakmanızı söyler.
• Model kartı "%100 sansürsüz, sıfır kayıp" veya ağırlık düzenlemesi için doğru olamayacak başka bir iddia vaat eder. Her düzenlemenin bir fayda-zarar dengesi vardır ve dürüst kartlar bunu belirtir.
• Bilinir bir yayının, yeni bir ad altında, orijinalinden farklı bir dosya boyutuyla yeniden yüklenmesi.
• Bilinen bir temel model için hiç lisans metni yok.

Temiz sinyallerle bile, yeni dosyaları verebileceğiniz en az erişimle çalıştırın. Ana akış bir çalışma zamanının güncel sürümü tarafından açılan bir GGUF dosyası, kod çalıştırma riski az taşır, ancak çalışma zamanlarında hatalar olabileceğinden güncel tutun. Bir şeyler yanlış görünüyorsa, dosyayı silin ve başka bir kaynak seçin. Yeniden indirmek dakikalar sürer; işinizi tutan bir makinedeki kötü bir dosyadan kurtulmak dakikalar sürmez.

Barındırılan bir uç nokta zaman kazandırdığı zaman

Çevrimdışı kullanım istiyorsanız, nicemleme üzerinde tam kontrol istiyorsanız veya birleştirmeyi ve denemeyi planlıyorsanız indirmek mantıklıdır. Yalnızca yasal yetişkin kullanımı için içerik reddi olmadan cevap veren bir model istiyorsanız, barındırılan bir API indirmeye, depolamaya, doğrulamaya ve bellek planlamasına tasarruf sağlar.

Bu hizmet, bağımsız bir sağlayıcı tarafından yönetilen bir açık ağırlıklı modeli, uncensored kimliği altında sunar. Herhangi bir satıcının resmi API'sinin bir yansıması değildir. OpenAI gibi çağırırsınız:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "List five checks for a downloaded file."}],
)
print(r.choices[0].message.content)

Bağlam penceresi 100.000 token'dir. Akış, fonksiyon çağırma ve JSON modu desteklenir ve istemler eğitim için kullanılmaz. Parametreler ve sınırlar belgelendirme sayfasında yer alır.

API'nin indirmeye göre maliyeti

İndirme maliyeti yoktur, ancak token başına ödeme yaparsınız: 1M girdi başına $0,15 ve 1M çıktı başına $0,50. 4.000 girdi tokeni ve 800 çıktı tokeni içeren bir istek, 4.000 / 1.000.000 x $0,15 = $0,0006 artı 800 / 1.000.000 x $0,50 = $0,0004 maliyetinde olur, yani $0,001. Bin tane bu $1 eder.

Minimum bakiye yükleme $20'dir, $50'den +%5, $100'den +%10 ve $200'den +%15 eklenir. Kripto ile ödeme yapın. Detaylar için fiyatlandırma sayfasına bakın. Ödeme yapmadan test etmek için, kayıt olduktan sonra API anahtarı sayfasında $0,50 deneme kredisini talep edin; 7 gün geçerlidir. Yalnızca kodlama kullanımı için, kodlama için abliterate edilmiş modeller sayfası nelere dikkat etmeniz gerektiğini karşılaştırır.

Daha fazla kılavuz

• Abliterated Models Nasıl Çalıştırılır: Yerel, Bulut veya API
• Kodlama İçin En İyi Abliterated Models: Nelere Dikkat Edilmeli