Abliterate edilmiş model nedir? Basit açıklama

Kısa özet

Abliterate edilmiş model, reddetme davranışı yeniden eğitim veya zeki bir prompt yazmak yerine, modelin içindeki sayılar değiştirilerek doğrudan düzenlenmiş sıradan bir açık ağırlıklı dil modelidir. Kelime, bir parçayı kesip ne yaptığını görmek anlamına gelen "ablasyon" (kesme) ile "obliteration" (yok etme) kelimelerinin birleşimidir. Düzenlemeden sonra model, reddetmesi öğretildiği isteklere "Buna yardımcı olamam" diye yanıt vermez.

Detaylara geçmeden önce akılda tutulması gereken üç nokta:

• Bu bir ağırlık düzenlemesidir, prompt hilesi değildir. Bakım gerektiren bir jailbreak metni yoktur ve bağlam harcanmaz.
• Bu bir bilgi değil, davranış kaldırır. Model bildiği şeyleri bilir; sadece reddetmeyi bırakır.
• Bu ücretsiz değildir. Düzenleme genel kaliteyi düşürebilir, bu yüzden dikkatli geliştiriciler sonucu test eder ve bazen kaliteyi onarmak için sonrasında ince ayar yapar.

Fikrin kaynağı

Sohbet modelleri, eğitimin ardından reddetmeyi öğrenir. Etiketleyiciler ve ödül modelleri, modeli belirli istekleri reddetmeye yönlendirir ve bu alışkanlık, modelin öğrendiği diğer her şeyle birlikte yerleşir. Uzun süre boyunca bu, milyarlarca parametre boyunca yayılan dağılmış bir davranış gibi görünüyordu.

Dil Modellerinde Reddetme Tek Bir Yönle Yönetilir başlıklı bir araştırma makalesi, daha anlaşılır bir şey gösterdi. Çeşitli açık sohbet modellerinde, reddetme davranışının büyük kısmı modelin iç aktivasyon uzayındaki tek bir yön tarafından kontrol edilir. Aktivasyonları bu yön boyunca itersek model masum istekleri bile reddeder. Bu yönü kaldırırsak model, normalde reddedeceği istekleri reddetmeyi bırakır.

Açık kaynak topluluğu, bu bulguyu pratik bir tarife dönüştürdü ve ona bir isim verdi. Abliterasyon bu tarifedir: reddetme yönünü bulun, ardından modeli bu yönü kullanamaz hale getirin.

Abliterasyon nasıl çalışır, adım adım

Yordam, beş adımda anlatılabilecek kadar kısadır. Gradient descent (gradyan inişi) içermez; bu nedenle bir modeli eğitmekten çok daha az hesaplama gücü gerektirir.

1. İki prompt kümesi toplayın. Bir küme modelin reddettiği istekleri, diğeri ise yanıt verdiği istekleri içerir. Her birinden birkaç yüz adet yaygın bir boyuttur.
2. Aktivasyonları kaydedin. Her iki kümeyi de model üzerinden çalıştırın ve seçilen bir katmandaki gizli durumu (genellikle son prompt token'ında) kaydedin.
3. Yönü hesaplayın. Her kümenin aktivasyonlarını ortalamaya alın, "yanıtlanan" ortalamasını "reddedilen" ortalamasından çıkarın ve sonucu normalize edin. Bu vektör reddetme yönüdür.
4. Yönü izdüşümle çıkarın. Ya çalışma zamanında bu yönü çıkarın ya da artık akışa (embedding, attention çıktıları, MLP çıktıları) yazan ağırlık matrislerini düzenleyin ki o yönde bir bileşen asla üretilemesin. İkinci seçenek kalıcıdır ve yayımlanan abliterate edilmiş checkpoint'lerin çoğu bunu kullanır.
5. Test edin. Ayrılmış prompt'ları çalıştırın, reddetme oranını öncesi ve sonrasıyla karşılaştırın ve mantık yürütme ve kodlama gibi sıradan görevlerde bozulma olup olmadığını kontrol edin.

Katman seçimi önemlidir. Yönün iki istem kümesini temiz bir şekilde ayırdığı ve düzenlemenin çalıştığı bir katman seçin; kötü bir katman seçerseniz hâlâ reddeden veya alakalı olmayan sorulardaki tutarlılığını yitiren bir model elde edersiniz. Pratikte insanlar birkaç katman dener ve en iyisini seçer.

Abliterasyon diğer yaklaşımlarla karşılaştırıldığında

Bir modelin reddetmeyi bırakmasını sağlamanın üç yaygın yolu vardır. Değiştirdikleri şeyler ve genellikle nerede başarısız oldukları farklılık gösterir.

Yaklaşım	Ne değişir	Maliyet	Tipik zayıflık
Jailbreak prompt'u	Sadece girdi metni	Yok, ancak her çağrıda bağlam kullanır	Kırılgandır; tek bir model güncellemesi işlevini durdurur
Kısıtlamasız verilerle ince ayar yapın	Ağırlıklar, eğitim yoluyla	GPU saatleri ve özenle hazırlanmış bir veri seti	Veri seti kalitesi her şeyi belirler; yazım tarzı kayabilir
Abliterasyon	Ağırlıklar, doğrudan bir düzenleme yoluyla	Eğitime kıyasla düşük	Yaklaşık bir yöndür, bu nedenle kalite düşebilir

Birçok tamamlanmış model yöntemleri birleştirir. Yaygın bir kalıp önce abliterate etmektir, ardından düzenlemenin getirdiği kalite kaybını onarmak için kısa bir ince ayar çalıştırmaktır. Bir model kartı okurken hangi adımların kullanıldığını ve yazarın öncesi-sonrası testlerini raporlayıp raporlamadığına bakın.

Ne verdiğiniz ve nelere dikkat etmeniz gerektiği

Reddetmeleri kaldırmak bir modeli herhangi bir konuda daha iyi yapmaz. Bir filtre kaldırır. Bazı sonuçlar doğar.

Kalite düşebilir

Reddetme yönü diğer özelliklerden mükemmel şekilde ayrılmamıştır. Onu kaldırmak komşu davranışları bulanıklaştırabilir; bu durum biraz daha zayıf mantık yürütme, tuhaf biçimlendirme veya daha düz bir ton olarak ortaya çıkar. İyi bir yapı bu etkileri küçük tutar, ancak bir etikete güvenmek yerine kendi prompt'larınızı çalıştırın.

Yargı artık size ait

Hizalanmış bir model, bir isteği iyi bir nedenle bazen reddedebilir. Sansürsüz olan ise genellikle devam edecektir. Üzerine bir ürün geliştirirseniz, kabul edilebilir olanı siz belirlersiniz: bir sistem istemi yazın, kendi girdi denetimlerinizi ekleyin ve sizin için önemli olanları günlüğe kaydedin. Yasal yetişkin kullanımı amaçlanan kapsamdır. Reşit olmayanların dahil olduğu içerik bu hizmet için kesin bir sınırdır ve hiçbir yerde kabul edilemez.

Hâlâ hatalar olur

Model hâlâ gerçek uydurabilir, talimatları yanlış okuyabilir veya uzun bir konuşmanın izini kaybedebilir. Daha az reddetme, daha yüksek doğruluk anlamına gelmez.

Bu API'nin arkasındaki modelin yeri

Bu makale yöntemi genel terimlerle açıklar. API'nin size sunduğu, bağımsız bir sağlayıcı tarafından sunulan, yasal yetişkin kullanımı için içerik reddetmeleri olmadan yanıtlaması için ayarlanmış tek bir açık ağırlıklı modeldir. Meta, Mistral, Qwen, DeepSeek, OpenAI veya başka herhangi bir satıcının resmi API'si değildir ve bunlar arasında bir yönlendirici değildir. Sadece metin işler: resim, ses, embedding veya ince ayar yok.

Arayüz OpenAI ile uyumludur. Herhangi bir OpenAI SDK'sını https://api.abliteratedmodels.cc/v1 adresine yönlendirin, uncensored model kimliğini kullanın ve anahtarınızı Bearer token olarak gönderin:

Copycurl https://api.abliteratedmodels.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "user", "content": "Explain directional ablation in two sentences."}
    ]
  }'

Resmi SDK ile Python'da aynı çağrı:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.abliteratedmodels.cc/v1",
    api_key="YOUR_KEY",
)

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "What does a refusal direction mean?"}],
)
print(reply.choices[0].message.content)

Bağlam penceresi, prompt ve tamamlama birlikte 100.000 token'dır. Akış, fonksiyon çağırma ve JSON modu OpenAI API'deki gibi çalışır. Detaylar API belgelerinde yer alır.

Abliterate edilmiş modeller hakkında yaygın efsaneler

Bu modeller hakkında, yanlış beklentilere yol açtıkları için düzeltilmesi gereken birkaç fikir dolaşmaktadır.

"Bu daha akıllı bir model." Bu doğru değil. Düzenleme bir filtreyi kaldırır. Akıl yürütme, gerçekleri hatırlama ve yazma becerisi temel modelden gelir; varsa sadece aynı kalır veya biraz daha kötüleşir. Bir görev hizalanmış versiyonda yetersizlik nedeniyle başarısız olursa, burada da başarısız olacaktır.

"Hiçbir kuralı yok." Modelin reddetme alışkanlığı olmayabilir, ancak etrafındaki hizmetin kuralları vardır. Reşit olmayanların dahil olduğu cinsel içerik kesin bir sınırdır ve amaçlanan kapsam yasal yetişkin kullanımıdır. Model ayrıca eğitim verisinin tonunu ve nezaketini hâlâ taşır, bu nedenle bir istem onu oraya itmedikçe kaba veya tehlikeli hale gelmez.

"Bir sistem istemi aynı şeyi yapabilir." Bir sistem istemi bir modeli yönlendirebilir ve bazen hafif durumlar için yeterlidir. Ancak istem, her çağrıda girdi token'larına mal olur, dikkatinizi gerçek talimatlarınızla yarışır ve modelin yerleşik refleksleri güçlü olduğunda yetersiz kalır. Bir ağırlık düzenlemesinde bu maliyetler yoktur.

"Abliterasyon yasa dışı anlamına gelir." Hayır. Açık ağırlıklı modeller herkesin değiştirebilmesi için yayınlanır ve bir modeli düzenlemek makine öğrenimi araştırmalarının normal bir parçasıdır. Yasanın ilgilendiği şey çıktıyla ne yaptığınızdır ve bu sorumluluk size aittir.

Bu noktaları aklınızda tutmak, böyle bir modeli mantıklı bir şekilde değerlendirmeyi kolaylaştırır: daha az koruma önlemine sahip ve aynı temel beceriye sahip bir araç olarak, kendi ürününüzün gerektirdiği güvenlik önlemleriyle sarılması gereken.

Kimlere gerçekten gerek var

Çoğu insan asla bir reddetmeyle karşılaşmaz. Karşılaşanlar genellikle birkaç gruba ayrılır:

• Kurgu ve rol yapma yazarları. Koyu temalar, gerçek bir tehdit taşıyan kötü karakterler ve ahlaki olarak karmaşık sahneler edebiyatta normaldir. Hizalanmış modeller bunları genellikle yumuşatır veya reddeder. Yetişkinlere yönelik arkadaşlık ve hikâye uygulamaları aynı sorunla karşılaşır.
• Güvenlik ve red team çalışanları. Test yükleri yazmak, bir istismar zincirinin nasıl çalıştığını açıklamak veya bir kötü amaçlı yazılım örneğini analiz etmek, genel halk için tasarlanmış bir filtreyi tetikleyebilir.
• Denetim ve araştırma ekipleri. Zararlı metinler için bir sınıflandırıcı oluşturmak için bazen örnekler üreten veya bunlar hakkında titremeden tartışan bir modele ihtiyacınız olabilir.
• Yeniden deneme döngülerinden bıkan geliştiriciler. İş akışınızın yarısı reddetmeleri yakalayıp yeniden yazıyorsa, bunları kaldırmak kodu basitleştirir.

Eğer hizalanmış barındırılan bir modele kıyasla maliyet ve kontrol dengelerini değerlendiriyorsanız, sansürsüz LLM API maliyeti ile kontrol sayfası bunu detaylı olarak inceler. Fiyatlandırma sabittir: milyon giriş token başına $0,15 ve milyon çıktı token başına $0,50; başarısız veya reddedilen istekler için ücret alınmaz. Bakiye yükleme miktarları ve bonuslar için fiyatlandırma sayfasına bakın.

Para harcamadan birini denemek

Bir sansürsüz modelin istemlerinize uygun olup olmadığını hiçbir şey ödemeden test edebilirsiniz. Google veya e-posta ve şifre ile kaydolun, anahtar sayfasını açın ve tek tıkla $0,50'lik deneme kredisi talep edin. Kart gerektirmez, kişi başı bir kezle sınırlıdır ve 7 gün boyunca geçerlidir. Bu oranlarla $0,50, bin adetten fazla kısa sohbet adımını kapsar ki bu da adil bir test için yeterlidir.

Mevcut modelinizin reddettiği istemleri çalıştırın, yanıtları kendi yargınızla karşılaştırın ve reddetmelerle hiçbir ilgisi olmayan görevlerdeki kaliteye bakın. Çıktı dayanıklıysa, API anahtarı sayfasından bir anahtar alın ve $20'den başlayan bakiye yükleyin.

Daha fazla kılavuz

• Kodlama İçin En İyi Abliterate Edilmiş Modeller: Nelere Dikkat Edilmeli
• Sansürsüz LLM API: Maliyet vs. Kontrol Analizi