Unduh Abliterated Models: Sumber Aman dan Pengecekan

Di mana orang biasanya mengunduh

Sebagian besar bobot abliterated dipublikasikan di Hugging Face, pusat publik utama untuk model bobot terbuka, baik sebagai checkpoint presisi penuh atau sebagai file GGUF yang dikuantisasi untuk llama.cpp, Ollama, dan LM Studio. Beberapa pengunggah juga membagikan file melalui torrent atau host file. Perlakukan itu dengan lebih hati-hati, karena Anda kehilangan halaman model, riwayat versi, dan komentar komunitas yang membantu Anda menilai rilis.

Repositori dengan riwayat panjang, kartu model yang jelas, dan thread diskusi di mana orang lain melaporkan bagaimana perilakunya adalah tanda yang lebih baik daripada akun baru dengan satu unggahan dan tanpa deskripsi. Anda dapat membaca lebih lanjut tentang teknik ini dalam penjelasan kami tentang apa itu model abliterated.

Format file menentukan seberapa besar risiko yang Anda ambil

Formatnya lebih penting daripada yang diharapkan kebanyakan orang.

• safetensors. Menyimpan tensor polos dan tidak dapat menjalankan kode saat dimuat. Ini adalah pilihan yang lebih aman untuk bobot presisi penuh.
• GGUF. Format untuk bobot yang dikuantisasi yang digunakan oleh llama.cpp dan alat yang dibangun di atasnya. Ini juga data, bukan kode yang dapat dieksekusi, dan ini adalah pilihan biasa untuk obrolan lokal.
• File berbasis Pickle (.bin, .pt, .ckpt). Memuatnya dengan alat Python umum dapat menjalankan kode sembarang yang disematkan dalam file. Hindari dari sumber yang tidak dikenal, atau muat hanya di dalam sandbox.

Jika repositori hanya menawarkan file pickle dan Anda tidak dapat menemukan versi safetensors atau GGUF, itu adalah alasan untuk mencari di tempat lain. Juga berhati-hatilah dengan repositori apa pun yang mengirimkan skrip pemuat Python khusus bersama dengan bobotnya. Baca skrip itu sebelum Anda menjalankannya, atau jangan jalankan.

Daftar periksa sebelum Anda mengunduh

1. Baca kartu model. Itu harus menyebutkan model dasar, metode yang digunakan untuk menghapus penolakan, dan tingkat kuantisasi. Kartu yang tidak mengatakan apa-apa adalah tanda peringatan.
2. Periksa lisensinya. Salinan yang telah diablasi mewarisi ketentuan model dasar. Beberapa lisensi membatasi penggunaan komersial atau memerlukan atribusi. Jika Anda berencana membangun produk, bacalah terlebih dahulu.
3. Bandingkan nama model dasar dengan rilis resmi. Pengunggah tiruan mungkin menempelkan nama populer ke file yang berbeda.
4. Lihat daftar file dan ukurannya. Mereka harus sesuai dengan jumlah parameter dan kuantisasi. File Q4 7B berukuran 400 MB, atau file 70B berukuran 4 GB, itu salah.
5. Cari checksum yang dipublikasikan dan verifikasi setelah unduhan.
6. Lihat tab komunitas untuk laporan output yang rusak, pengulangan, atau perilaku tersembunyi.

Hitung ukuran unduhan terlebih dahulu

Ukuran perkiraan file adalah parameter x bit per bobot / 8. Ini hanya bobotnya, dan ukuran file asli sedikit lebih besar.

Parameter	16-bit	8-bit	4-bit
7B	14 GB	7 GB	3,5 GB
13B	26 GB	13 GB	6,5 GB
34B	68 GB	34 GB	17 GB
70B	140 GB	70 GB	35 GB

Anda juga membutuhkan ruang disk gratis untuk unduhan dan, jika Anda mengonversi atau mengkuantisasi sendiri, untuk file antara. Kehabisan ruang di tengah transfer 70 GB adalah gangguan umum. Memori untuk menjalankan file adalah pertanyaan terpisah: bobot harus muat dalam GPU atau memori terpadu, dengan ruang ekstra untuk cache konteks.

Verifikasi file setelah tiba

Unduh ke folder kosongnya sendiri, simpan skrip Anda di tempat lain, dan periksa hash sebelum Anda memuat file.

Copyhuggingface-cli download some-user/some-repo-GGUF file-Q4_K_M.gguf --local-dir ./incoming
cd incoming
shasum -a 256 file-Q4_K_M.gguf
# compare the output with the checksum shown on the repository page

Jika pengunggah tidak mempublikasikan checksum, hash hanya membuktikan bahwa file tidak rusak selama transit, bukan bahwa itu adalah apa yang dimaksudkan oleh penulis. Untuk apa pun yang Anda rencanakan untuk diandalkan, utamakan pengunggah yang file-file mereka juga di-mirror atau dibahas oleh orang lain. Muat file baru terlebih dahulu di mesin tanpa akses ke data sensitif.

Simpan catatan tentang apa yang Anda unduh: nama repositori, tanggal, nama file, dan hash. Ketika edit yang lebih baik muncul sebulan kemudian, Anda akan ingin membandingkan keduanya pada prompt yang sama, dan Anda akan ingin tahu persis file mana yang Anda uji terlebih dahulu.

Akhirnya, uji perilaku. Jalankan sepuluh hingga dua puluh prompt dari pekerjaan aktual Anda dan baca outputnya. File bisa utuh dan tetap menjadi edit yang buruk: balasan tidak koheren, pengulangan konstan, atau penolakan yang belum sepenuhnya dihapus.

Tanda bahaya yang harus menghentikan Anda

Beberapa sinyal cukup untuk pergi tanpa analisis lebih lanjut.

• Repositori meminta Anda untuk menonaktifkan pemindaian keamanan, menjalankan installer, atau menempelkan perintah ke terminal sebagai root.
• Tautan unduhan mengarah ke host file yang bukan halaman repositori, atau halaman memberi tahu Anda untuk menonaktifkan antivirus Anda.
• Kartu model menjanjikan "100% tanpa sensor, tanpa kehilangan" atau klaim lain yang tidak mungkin benar untuk sebuah pengeditan pada bobot. Setiap pengeditan memiliki trade-off, dan kartu yang jujur mengatakannya.
• Unggahan ulang dari rilis yang dikenal di bawah nama baru, dengan ukuran file yang berbeda dari yang asli.
• Tidak ada teks lisensi sama sekali, untuk model dasar yang diketahui memiliki satu.

Bahkan dengan sinyal bersih, jalankan file baru dengan akses seminimal mungkin yang bisa Anda berikan. GGUF yang dibuka oleh versi runtime arus utama saat ini memiliki sedikit risiko eksekusi kode, tetapi runtime telah memiliki bug, jadi perbarui. Jika ada yang terlihat salah, hapus file dan pilih sumber lain. Mengunduh ulang memakan waktu beberapa menit; memulihkan dari file yang buruk di mesin yang menyimpan pekerjaan Anda tidak.

Kapan endpoint yang dihosting menghemat waktu

Mengunduh masuk akal ketika Anda ingin penggunaan offline, kontrol penuh atas kuantisasi, atau Anda berencana untuk menggabungkan dan bereksperimen. Jika Anda hanya menginginkan model yang menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah, API yang dihosting menghemat unduhan, penyimpanan, verifikasi, dan perencanaan memori.

Layanan ini melayani satu model bobot terbuka, dijalankan oleh penyedia independen, di bawah ID uncensored. Ini bukan mirror dari API resmi vendor mana pun. Anda memanggilnya seperti OpenAI:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "List five checks for a downloaded file."}],
)
print(r.choices[0].message.content)

Jendela konteks adalah 100.000 token. Streaming, pemanggilan alat, dan mode JSON didukung, dan prompt tidak digunakan untuk pelatihan. Parameter dan batas ada di halaman dokumentasi.

Biaya API dibandingkan dengan unduhan

Tidak ada biaya unduhan, tetapi Anda membayar per token: $0,15 per 1M input dan $0,50 per 1M output. Permintaan dengan 4.000 token input dan 800 token output biaya 4.000 / 1.000.000 x $0,15 = $0,0006 ditambah 800 / 1.000.000 x $0,50 = $0,0004, jadi $0,001. Seribu dari itu biaya $1.

Isi saldo minimum adalah $20, dengan +5% dari $50, +10% dari $100, dan +15% dari $200. Bayar dengan kripto. Lihat harga untuk detailnya. Untuk menguji tanpa pembayaran, klaim uji coba $0,50 di halaman kunci API setelah pendaftaran; itu berlaku selama 7 hari. Untuk penggunaan pengkodean secara khusus, halaman tentang model abliterated untuk pengkodean membandingkan apa yang harus dicari.

Panduan lainnya

• Cara Menjalankan Abliterated Models: Lokal, Cloud, atau API
• Abliterated Models Terbaik untuk Pemrograman: Apa yang Harus Dicari