Abliterated Models Nasıl Çalıştırılır: Yerel, Bulut veya API

Önce bir rota seçin

	Yerel	Kiralık bulut GPU	Barındırılan API
Ön maliyet	Zaten sahip olabileceğiniz donanım	Yok	Yok
Kurulum süresi	Bir akşam	Bir akşam, ayrıca uzak sunucu bakımı	Dakikalar
Devam eden maliyet	Elektrik	Makine çalışırken saatlik	Token başına
Gerekli beceri	Orta	Orta ila yüksek	Düşük
Gizlilik	En yüksek	Barındırana bağlıdır	Sunucu tarafında; istemler eğitim için kullanılmaz

Eğer yalnızca yasal yetişkin isteklerini reddetmeyen bir modelden yanıt almak istiyorsanız API en kısa yoldur. Ağırlıkları denemek, modelleri birleştirmek veya çevrimdışı çalıştırmak istiyorsanız yerel çözüme geçin. Bulut GPU seçeneği, birkaç saat için büyük modele ihtiyaç duyan ve donanım satın almak istemeyen kişiler için uygundur.

Yol 1: yerel olarak çalıştırın

Çalışma ortamınızın yükleyebileceği bir formatta ağırlıklara ve yeterli belleğe ihtiyacınız vardır. En yaygın kurulum, llama.cpp veya Ollama ve LM Studio gibi onun üzerine kurulu bir araçla birlikte gelen bir GGUF dosyasıdır.

1. Bellek tahmini yapın. Ağırlıklar, ağırlık başına yaklaşık parametre x bit / 8 alır. 4-bit ile bir 14B model yaklaşık 7 GB'tır. Bağlam önbelleği için birkaç gigabayt ekleyin.
2. Güvendiğiniz bir kaynaktan nicimlenmiş bir dosya indirin. bir abliterated modelin ne olduğu sayfası, bu dosyaların içeriğini açıklar.
3. Bir sunucu başlatın. llama.cpp ile komut aşağıdakine benzer.
4. Uygulamanızı buna yönlendirin. Sunucu, OpenAI tarzı bir uç nokta açığa çıkarır; bu nedenle uyumlu herhangi bir istemci bağlanabilir.

Copyllama-server -m ./weights-Q4_K_M.gguf -c 8192 -ngl 99 --port 8080

Burada -c bağlam uzunluğunu ayarlar ve -ngl 99 tüm katmanları sığarsa GPU'ya aktarır. Bellek tükenirse -ngl değerini düşürün ve katmanlar CPU'da kaldığında daha yavaş çıktı bekleyin.

Yerel sorunlar kolayca tanınır. Bellek yetersizliği hatasıyla yükleme başarısız olursa, daha küçük bir nicemleme seçin veya bağlam uzunluğunu düşürün, çünkü önbellek buna göre ölçeklenir. Çıktı acı verici derecede yavaşsa, bazı katmanlar CPU'da çalışıyor demektir; kaç tanesinin yüklendiğini kontrol edin. Yanıtlar tekrara düşerse, sıcaklığı biraz düşürün ve tekrar cezasını artırın. Model garip bir biçimde yanıt verirse, sohbet şablonu modelin beklediğiyle eşleşmiyor olabilir; çoğu çalışma zamanı bunu açıkça ayarlamanıza olanak tanır.

Gizlilik ve çevrimdışı kullanım önemliyse veya zaten 16 GB veya daha fazla belleğe sahip bir kartınız varsa yerel kullanım en iyisidir.

Yol 2: bulutta GPU kiralayın

Kiralama hizmetleri, büyük GPU'lu bir makineyi başlatmanızı ve saatlik ödeme yapmanızı sağlar. Adımlar yerel yola uyar, ancak bunları uzaktaki bir makinede SSH üzerinden gerçekleştirirsiniz ve makineyi kullanırken çalışır durumda tutmanız gerekir. Bu son kısım önemlidir: Makine boşta çalışırken de ödeme yaparsınız, bu nedenle işiniz bittiğinde makineyi durdurun.

Tipik bir kiralama oturumu şöyle işler. Modeliniz için yeterli GPU belleğine sahip bir makine seçersiniz, sürücüler zaten yüklü olan önceden hazırlanmış bir imgeden başlatırsınız, ağırlıkları kopyalarsınız veya indirirsiniz, sunucuyu başlatırsınız ve bağlantı portunun asla herkese açık olmaması için bir SSH tüneli üzerinden bağlanırsınız. Büyük bir dosya ile indirmeler için yalnızca yirmi ila otuz dakika planlayın ve faturalandırma genellikle bu süre boyunca devam eder. Adımları bir betiğe bir kez yazın, böylece sonraki oturum hızlı başlar.

Sık sık değiştiği için sağlayıcının sitesindeki güncel saatlik fiyatları kontrol edin. Kiralama, büyük bir modeli bir belge kümesi üzerinden çalıştırmak gibi tek seferlik bir iş için mantıklıdır. Günde birkaç kez açtığınız bir sohbet için daha az mantıklıdır; çünkü sayaç oturumlar arasında çalışmaya devam eder ve ağırlıklar için kalıcı depolama hacmi genellikle ayrı olarak faturalandırılır.

Güvenlik sizin sorumluluğunuzdadır. Yetkilendirme olmadan model sunucusunu açık internete açmayın; çünkü porta ulaşan herkes GPU sürenizi kullanabilir.

Yol 3: barındırılan bir API'yi çağırın

Bu hizmet, yasal yetişkin kullanımı için içerik reddi olmadan yanıt vermeye ayarlanmış, bağımsız bir sağlayıcı tarafından yürütülen bir açık ağırlıklı model sunar. Model kimliği uncensored'dir. Herhangi bir model tedarikçisinin resmi bir API'si değildir ve birden fazla model arasında yönlendirme yapmaz. Temel URL https://api.abliteratedmodels.cc/v1'dir.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a candid technical assistant."},
        {"role": "user", "content": "Explain TCP slow start in five sentences."},
    ],
    temperature=0.7,
)
print(resp.choices[0].message.content)

curl ile aynı istek:

Copycurl https://api.abliteratedmodels.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}],"stream":false}'

Akış, araç çağırma ve JSON modu OpenAI API'sinde olduğu gibi çalışır. Ayrıntılar belgelerde yer alır.

Her bir rotanın maliyeti, API hesaplamalarıyla

Yerel ve kiralama maliyetleri, kendinizin araştırması gereken fiyatlara bağlıdır. API maliyeti hesaplaması basittir. Oranlar 1M girdi token başına $0,15 ve 1M çıktı token başına $0,50'dir.

8.000 token bağlam ve 600 token yanıt içeren bir kod asistanı isteği için girdi maliyeti 8.000 / 1.000.000 x $0,15 = $0,0012, çıktı maliyeti 600 / 1.000.000 x $0,50 = $0,0003'tür. Bu istek başına $0,0015 eder. Günde yüz böyle istek, 30 gün boyunca 3.000 istek veya ayda $4,50 eder.

Minimum bakiye yükleme $20'dir; bu kullanım için dört aydan fazla yeterli olur ve kredi süresi dolmaz. Bonuslar $50'den itibaren geçerlidir: +%5, ardından $100'den itibaren +%10 ve $200'den itibaren +%15. Kripto (TRC20 üzerinde USDT, Base üzerinde USDC) ile ödeme yapabilirsiniz. Tablo için fiyatlandırma sayfasına bakın.

Kodlama için iyi çalışan modeller

Hedefiniz kod ise, model boyutu ve eğitim verisi, abliterasyon adımından daha önemlidir. Daha büyük modeller daha güvenilir kod yazar ve bunların yerel olarak daha fazla belleğe ihtiyacı vardır. kodlama için en iyi abliterated modeller sayfasında dikkat etmeniz gerekenler listelenmiştir. Adayları test ederken, her birine gerçek işinizden beş veya altı görev verin: bir hata düzeltme, kısa bir fonksiyon, bir yeniden düzenleme ve tanımadığınız bir kodun açıklaması. Sonuçları pazarlamaya göre değil, karşılaştırarak değerlendirin.

Barındırılan seçenek bir referans noktası olarak kullanışlıdır. Görev kümenizi önce API üzerinden çalıştırın, ardından karşılayabileceğiniz bir yerel modelin buna eşleşip eşleşmediğini görün.

En ucuz testle başlayın

Donanım satın almadan veya makine kiralama yapmadan önce API ile birkaç dakika geçirin. Google veya e-posta ve şifre ile kaydolun, ardından API anahtarı sayfası üzerindeki deneme sürümünü talep edin. $0,50 değerindedir, 7 gün boyunca geçerlidir, kişi başı bir kez kullanılabilir ve kart gerektirmez. İstek başına $0,0015 fiyatla bu, 300'den fazla istek yapmanıza olanak tanır.

Deneme anahtarları 2 eşzamanlı istek ve dakika başına 60 istek izni verir. Tam anahtarlar 8 ve 300 istek izni verir. Bir limiti aşarsanız rate_limited veya concurrency ile HTTP 429 alırsınız; geçici aşırı yüklenme sırasında ise Retry-After: 5 ile bir 429 döner. Reddetmeyen modeller hakkında daha geniş bir bakış için sansürsüz yapay zeka modeli sayfasını okuyun.

API yalnızca metin içerir ve katı bir kuralı vardır: reşit olmayanlar ile ilgili cinsel içerik yoktur.

Daha fazla kılavuz

• Abliterated Models İndir: Güvenli Kaynaklar ve Kontroller
• Kodlama İçin En İyi Abliterated Models: Nelere Dikkat Edilmeli