Cara Menjalankan Abliterated Models: Lokal, Cloud, atau API

Pilih rute terlebih dahulu

	Lokal	GPU cloud yang disewa	API Terhosting
Biaya awal	Perangkat keras yang mungkin sudah Anda miliki	Tidak Ada	Tidak Ada
Waktu penyiapan	Satu malam	Satu malam, plus perawatan server jarak jauh	Menit
Biaya berkelanjutan	Listrik	Per jam saat mesin berjalan	Per token
Keterampilan yang dibutuhkan	Sedang	Sedang hingga tinggi	Rendah
Privasi	Tertinggi	Tergantung pada host	Sisi server; prompt tidak digunakan untuk pelatihan

Jika Anda hanya menginginkan jawaban dari model yang tidak menolak permintaan dewasa yang sah, API adalah jalur terpendek. Jika Anda ingin bereksperimen dengan bobot, menggabungkan model, atau menjalankan offline, pilih lokal. Opsi GPU cloud cocok untuk orang yang membutuhkan model besar selama beberapa jam dan tidak ingin membeli perangkat keras.

Rute 1: jalankan secara lokal

Anda membutuhkan bobot dalam format yang dimuat oleh runtime Anda, dan memori yang cukup. Penyiapan paling umum adalah file GGUF dengan llama.cpp atau alat yang dibangun di atasnya, seperti Ollama atau LM Studio.

1. Perkirakan memori. Bobot memakan sekitar parameter x bit per bobot / 8. Model 14B pada 4-bit adalah sekitar 7 GB. Tambahkan beberapa gigabyte untuk cache konteks.
2. Unduh berkas terkuantisasi dari sumber yang Anda percaya. Halaman tentang apa itu model yang telah diabliterasi menjelaskan isi berkas-berkas tersebut.
3. Mulai server. Dengan llama.cpp, perintahnya terlihat seperti di bawah ini.
4. Arahkan aplikasi Anda ke sana. Server mengekspos endpoint gaya OpenAI, sehingga klien yang kompatibel dapat terhubung.

Copyllama-server -m ./weights-Q4_K_M.gguf -c 8192 -ngl 99 --port 8080

Di sini -c mengatur panjang konteks dan -ngl 99 mengalihkan semua lapisan ke GPU jika muat di GPU. Turunkan -ngl jika Anda kehabisan memori, dan harapkan output yang lebih lambat ketika lapisan tetap di CPU.

Masalah lokal yang umum mudah dikenali. Jika pemuatan gagal dengan pesan kehabisan memori, pilih kuantisasi yang lebih kecil atau kurangi panjang konteks, karena ukuran cache meningkat seiring dengan panjang konteks tersebut. Jika output sangat lambat, beberapa lapisan berjalan di CPU, jadi periksa berapa banyak yang dialihkan. Jika balasan menjadi berulang, turunkan suhu sedikit dan naikkan penalti pengulangan. Dan jika model menjawab dalam format aneh, template obrolan mungkin tidak cocok dengan yang diharapkan model; sebagian besar runtime memungkinkan Anda mengaturnya secara eksplisit.

Lokal adalah yang terbaik ketika privasi dan penggunaan offline penting, atau ketika Anda sudah memiliki kartu dengan 16 GB atau lebih memori.

Rute 2: sewa GPU di cloud

Layanan sewa memungkinkan Anda memulai mesin dengan GPU besar dan membayar per jam. Langkah-langkahnya sesuai dengan rute lokal, tetapi Anda melakukannya melalui SSH pada mesin jarak jauh, dan Anda harus menjaga mesin tetap berjalan saat Anda menggunakannya. Bagian terakhir itu penting: Anda membayar saat mesin menganggur, jadi hentikan saat Anda selesai.

Sesi sewa khas berjalan seperti ini. Anda memilih mesin dengan memori GPU yang cukup untuk model Anda, memulainya dari gambar pra-bangun yang sudah memiliki driver terinstal, menyalin atau mengunduh bobot, meluncurkan server, dan terhubung melalui terowongan SSH sehingga port tidak pernah publik. Rencanakan dua puluh hingga tiga puluh menit hanya untuk unduhan dengan file besar, dan penagihan biasanya berjalan selama waktu itu. Tulis langkah-langkahnya dalam skrip sekali, sehingga sesi berikutnya dimulai dengan cepat.

Periksa harga per jam saat ini di situs penyedia, karena sering berubah. Sewa masuk akal untuk pekerjaan satu kali seperti menjalankan model besar melalui sekumpulan dokumen. Kurang masuk akal untuk obrolan yang Anda buka beberapa kali sehari, karena meteran terus berjalan di antara sesi, dan volume penyimpanan permanen untuk bobot sering ditagih secara terpisah.

Keamanan ada di tangan Anda. Jangan mengekspos server model ke internet terbuka tanpa autentikasi, karena siapa saja yang menemukan port dapat menggunakan waktu GPU Anda.

Rute 3: panggil API terhosting

Layanan ini memberi Anda satu model bobot terbuka, dijalankan oleh penyedia independen dan disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. ID model adalah uncensored. Ini bukan API resmi dari vendor model mana pun dan bukan router di antara beberapa. URL dasar adalah https://api.abliteratedmodels.cc/v1.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a candid technical assistant."},
        {"role": "user", "content": "Explain TCP slow start in five sentences."},
    ],
    temperature=0.7,
)
print(resp.choices[0].message.content)

Permintaan yang sama dengan curl:

Copycurl https://api.abliteratedmodels.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}],"stream":false}'

Streaming, pemanggilan fungsi, dan mode JSON berfungsi seperti di API OpenAI. Detailnya ada di dokumentasi.

Biaya setiap rute, dengan matematika API

Biaya lokal dan sewa bergantung pada harga yang harus Anda cari sendiri. Biaya API mudah dihitung. Tarifnya adalah $0,15 per 1M token input dan $0,50 per 1M token output.

Permintaan asisten pengkodean dengan 8.000 token konteks dan jawaban 600 token biaya 8.000 / 1.000.000 x $0,15 = $0,0012 untuk input, ditambah 600 / 1.000.000 x $0,50 = $0,0003 untuk output. Itu adalah $0,0015 per permintaan. Seratus permintaan seperti itu sehari selama 30 hari adalah 3.000 permintaan, atau $4,50 per bulan.

Isi ulang minimum adalah $20, yang akan mencakup penggunaan itu selama lebih dari empat bulan, dan saldo tidak pernah kedaluwarsa. Bonus berlaku mulai dari $50: +5%, lalu +10% dari $100 dan +15% dari $200. Anda dapat membayar dengan kripto (USDT pada TRC20, USDC pada Base). Lihat halaman harga untuk tabelnya.

Model mana yang berjalan dengan baik untuk pengkodean

Jika tujuan Anda adalah kode, ukuran model dan data pelatihan lebih penting daripada langkah abliteration. Model yang lebih besar menulis kode yang lebih andal, dan mereka membutuhkan lebih banyak memori secara lokal. Perbandingan di model abliterated terbaik untuk pengkodean mencantumkan apa yang harus dilihat. Saat Anda menguji kandidat, berikan setiap model lima atau enam tugas dari pekerjaan nyata Anda: perbaikan bug, fungsi pendek, refactor, penjelasan kode yang tidak dikenal. Bandingkan hasil, bukan pemasaran.

Opsi yang dihosting berguna sebagai garis dasar. Jalankan set tugas Anda terhadap API terlebih dahulu, lalu lihat apakah model lokal yang dapat Anda beli cocok dengannya.

Mulailah dengan tes termurah

Sebelum Anda membeli perangkat keras atau menyewa mesin, luangkan waktu beberapa menit untuk API. Masuk dengan Google, atau dengan email dan kata sandi, lalu klaim uji coba di halaman kunci API. Itu adalah $0,50, berlaku selama 7 hari, satu per orang, dan tidak memerlukan kartu. Pada $0,0015 per permintaan, itu lebih dari 300 permintaan.

Kunci uji coba mengizinkan 2 permintaan konkuren dan 60 per menit. Kunci penuh mengizinkan 8 dan 300. Jika Anda melebihi batas, Anda mendapatkan HTTP 429 dengan rate_limited atau concurrency, dan 429 dengan Retry-After: 5 selama kelebihan beban sementara. Untuk pandangan yang lebih luas tentang model tanpa penolakan, baca halaman tentang model AI tanpa filter.

API hanya teks dan memiliki aturan keras: tidak ada konten seksual yang melibatkan anak di bawah umur.

Panduan lainnya

• Abliterated Models Unduh: Sumber Aman dan Pemeriksaan
• Abliterated Models Terbaik untuk Pemrograman: Apa yang Harus Dicari