วิธีรัน Abliterated Models: ในเครื่อง, คลาวด์ หรือ API

เลือกเส้นทางก่อน

	ในเครื่อง	GPU คลาวด์แบบเช่า	API แบบโฮสต์
ต้นทุนล่วงหน้า	ฮาร์ดแวร์ที่คุณอาจมีอยู่แล้ว	ไม่มี	ไม่มี
เวลาตั้งค่า	หนึ่งเย็น	ใช้เวลาหนึ่งเย็น พร้อมการดูแลเซิร์ฟเวอร์ระยะทางไกล	นาที
ต้นทุนต่อเนื่อง	ไฟฟ้า	ตามชั่วโมงขณะที่เครื่องทำงาน	ต่อโทเคน
ทักษะที่ต้องการ	ปานกลาง	ปานกลางถึงสูง	ต่ำ
ความเป็นส่วนตัว	สูงที่สุด	ขึ้นอยู่กับโฮสต์	ฝั่งเซิร์ฟเวอร์; พรอมต์ไม่ถูกนำไปใช้ฝึกโมเดล

หากคุณต้องการคำตอบจากโมเดลที่ไม่ปฏิเสธ คำขอที่ถูกกฎหมายของผู้ใหญ่ ผ่าน API คือเส้นทางที่สั้นที่สุด หากคุณต้องการทดลองกับ weights, merge โมเดล หรือรันแบบออฟไลน์ ให้ใช้แบบ local ตัวเลือก GPU แบบเช่าคลาวด์เหมาะสำหรับผู้ที่ต้องการโมเดลขนาดใหญ่เป็นระยะเวลาสั้นๆ และไม่อยากซื้อฮาร์ดแวร์

เส้นทางที่ 1: รันในเครื่อง

คุณต้องการไฟล์น้ำหนักในรูปแบบที่รันไทม์ของคุณโหลดได้ และหน่วยความจำเพียงพอ การตั้งค่าที่พบบ่อยที่สุดคือไฟล์ GGUF พร้อม llama.cpp หรือเครื่องมือที่สร้างจากไลบรารีนี้ เช่น Ollama หรือ LM Studio

1. ประมาณการหน่วยความจำ น้ำหนักใช้พื้นที่ประมาณ parameters x bits ต่อ weight / 8 โมเดล 14B ที่ 4-bit มีขนาดประมาณ 7 GB เพิ่มอีกไม่กี่ GB สำหรับแคชบริบท
2. ดาวน์โหลดไฟล์ที่ quantize แล้ว จากแหล่งที่คุณเชื่อถือ หน้า โมเดล abliterated คืออะไร อธิบายว่าไฟล์เหล่านี้ประกอบด้วยอะไร
3. เริ่มเซิร์ฟเวอร์ ด้วย llama.cpp คำสั่งจะคล้ายกับด้านล่าง
4. ชี้แอปของคุณไปที่เซิร์ฟเวอร์ เซิร์ฟเวอร์จะให้บริการเอนด์พอยต์แบบ OpenAI ดังนั้นไคลเอนต์ที่เข้ากันได้จึงเชื่อมต่อได้

Copyllama-server -m ./weights-Q4_K_M.gguf -c 8192 -ngl 99 --port 8080

ที่นี่ -c กำหนดความยาวของบริบท และ -ngl 99 จะโอนโหลด layer ทั้งหมดไปยัง GPU หากมีพื้นที่เพียงพอ ลด -ngl หากหน่วยความจำหมด และคาดหวัง output ที่ช้าลงเมื่อ layer ยังอยู่บน CPU

ปัญหาทั่วไปในการรันแบบ local ตรวจจับได้ง่าย หากโหลดล้มเหลวด้วยข้อความ out-of-memory ให้เลือก quantization ที่เล็กลงหรือลดความยาวบริบท เนื่องจาก cache ขยายตาม หาก output ช้ามาก แสดงว่าบาง layer ทำงานบน CPU ให้ตรวจสอบจำนวนที่ offload หากคำตอบเริ่มซ้ำซ้อน ให้ลด temperature เล็กน้อยและเพิ่มค่าปรับความซ้ำ (repetition penalty) หากโมเดลตอบกลับในรูปแบบแปลกๆ อาจเป็นเพราะ chat template ไม่ตรงกับที่โมเดลคาดหวัง; runtime ส่วนใหญ่อนุญาตให้คุณตั้งค่าได้โดยตรง

แบบโลคัลดีที่สุดเมื่อความเป็นส่วนตัวและการใช้งานออฟไลน์สำคัญ หรือเมื่อคุณมีการ์ดจอที่มีหน่วยความจำ 16 GB ขึ้นไป

เส้นทางที่ 2: เช่า GPU ในคลาวด์

บริการเช่าช่วยให้คุณเริ่มเครื่องพร้อม GPU ขนาดใหญ่และจ่ายตามชั่วโมง ขั้นตอนตรงกับเส้นทางโลคัล แต่คุณทำผ่าน SSH บนเครื่องระยะไกล และต้องรักษาเครื่องให้ทำงานอยู่ขณะใช้งาน ส่วนสุดท้ายนี้สำคัญ: คุณจ่ายค่าเช่าขณะที่เครื่องว่าง ดังนั้นให้หยุดเครื่องเมื่อใช้งานเสร็จ

เซสชันการเช่าทั่วไปเป็นดังนี้: คุณเลือกเครื่องที่มี GPU memory เพียงพอสำหรับโมเดลของคุณ เริ่มเครื่องจาก prebuilt image ที่มีไดรเวอร์ติดตั้งไว้แล้ว คัดลอกหรือดาวน์โหลด weights เริ่มเซิร์ฟเวอร์ และเชื่อมต่อผ่าน SSH tunnel เพื่อให้พอร์ตไม่เปิดเผยต่อสาธารณะ วางแผนเวลา 20-30 นาทีสำหรับการดาวน์โหลดไฟล์ขนาดใหญ่เพียงอย่างเดียว และการคิดค่าบริการมักจะเกิดขึ้นในช่วงเวลานั้น เขียนขั้นตอนลงในสคริปต์ครั้งเดียว เพื่อให้เซสชันถัดไปเริ่มต้นได้เร็วขึ้น

ตรวจสอบราคาต่อชั่วโมงปัจจุบันบนเว็บไซต์ของผู้ให้บริการ เนื่องจากมีการเปลี่ยนแปลงบ่อย การเช่ามีประโยชน์สำหรับงานครั้งเดียว เช่น การรันโมเดลขนาดใหญ่ผ่านชุดเอกสาร แต่ไม่คุ้มค่าสำหรับการแชทที่เปิดใช้งานไม่กี่ครั้งต่อวัน เพราะมิเตอร์ยังคงทำงานระหว่างเซสชัน และ persistent storage volume สำหรับ weights มักคิดค่าบริการแยกต่างหาก

ความปลอดภัยเป็นหน้าที่ของคุณ อย่าเปิดเผยเซิร์ฟเวอร์โมเดลสู่อินเทอร์เน็ตสาธารณะโดยไม่ต้องมีการตรวจสอบสิทธิ์ เพราะใครก็ตามที่พบพอร์ตนี้สามารถใช้เวลา GPU ของคุณได้

เส้นทางที่ 3: เรียกใช้ API ที่โฮสต์ไว้

บริการนี้มอบโมเดล open-weight หนึ่งตัว โดยผู้ให้บริการอิสระและปรับแต่งให้ตอบโดยไม่ปฏิเสธเนื้อหาสำหรับ การใช้งานที่ถูกกฎหมายสำหรับผู้ใหญ่ รหัสโมเดลคือ uncensored ไม่ใช่ API ทางการของผู้ขายโมเดลรายใดรายหนึ่ง และไม่ใช่ router ที่เชื่อมต่อหลายโมเดล base URL คือ https://api.abliteratedmodels.cc/v1

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a candid technical assistant."},
        {"role": "user", "content": "Explain TCP slow start in five sentences."},
    ],
    temperature=0.7,
)
print(resp.choices[0].message.content)

คำขอเดียวกันด้วย curl:

Copycurl https://api.abliteratedmodels.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}],"stream":false}'

Streaming, tool calling และ JSON mode ทำงานเหมือนใน OpenAI API รายละเอียดอยู่ใน เอกสารประกอบ

ต้นทุนของแต่ละเส้นทาง พร้อมการคำนวณ API

ต้นทุนแบบ local และการเช่าขึ้นอยู่กับราคาที่คุณต้องค้นหาเอง ต้นทุน API คำนวณง่าย อัตราคือ $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens

คำขอผู้ช่วยเขียนโค้ดที่มีบริบท 8,000 tokens และคำตอบ 600 tokens มีต้นทุน input 8,000 / 1,000,000 x $0.15 = $0.0012 และต้นทุน output 600 / 1,000,000 x $0.50 = $0.0003 รวมเป็น $0.0015 ต่อคำขอ หากทำ 100 คำขอต่อวันเป็นเวลา 30 วัน จะเท่ากับ 3,000 คำขอ หรือ $4.50 ต่อเดือน

การเติมเงินขั้นต่ำคือ $20 ซึ่งครอบคลุมการใช้งานนั้นได้นานกว่าสี่เดือน และเครดิตไม่หมดอายุ โบนัสเริ่มใช้เมื่อเติม $50: +5% จากนั้น +10% เมื่อเติม $100 และ +15% เมื่อเติม $200 คุณสามารถจ่ายด้วยคริปโต (USDT บน TRC20, USDC บน Base) ดูตารางที่ หน้าราคา

โมเดลใดทำงานได้ดีสำหรับการเขียนโค้ด

หากคุณต้องการโค้ด ขนาดโมเดลและข้อมูลการฝึกสำคัญกว่าขั้นตอนการลบการเซ็นเซอร์ การเปรียบเทียบใน โมเดล abliterated ที่ดีที่สุดสำหรับการเขียนโค้ด ระบุสิ่งที่ควรดู เมื่อคุณทดสอบตัวเลือก ให้มอบงาน 5-6 งานจากงานจริงของคุณให้แต่ละโมเดล: แก้ไขบั๊ก ฟังก์ชันสั้นๆ การรีแฟกเตอร์ และการอธิบายโค้ดที่ไม่คุ้นเคย เปรียบเทียบผลลัพธ์ ไม่ใช่การตลาด

ตัวเลือกแบบโฮสต์มีประโยชน์เป็นค่าพื้นฐาน รันชุดงานของคุณกับ API ก่อน แล้วดูว่าโมเดลในเครื่องที่คุณสามารถจ่ายได้ตรงกับมันหรือไม่

เริ่มด้วยการทดสอบที่ราคาถูกที่สุด

ก่อนซื้อฮาร์ดแวร์หรือเช่าเครื่อง ให้ใช้เวลาสักสองสามนาทีกับ API ลงทะเบียนด้วย Google หรือด้วยอีเมลและรหัสผ่าน จากนั้นรับเครดิตทดลองใช้บน หน้าคีย์ API มีมูลค่า $0.50 ใช้ได้ 7 วัน ต่อคน และไม่ต้องใช้บัตร ในอัตรา $0.0015 ต่อคำขอ นั่นคือมากกว่า 300 คำขอ

คีย์ทดลองอนุญาตคำขอพร้อมกัน 2 คำขอและ 60 คำขอต่อนาที คีย์เต็มอนุญาต 8 และ 300 หากเกินขีดจำกัด คุณจะได้รับ HTTP 429 พร้อม rate_limited หรือ concurrency และ 429 พร้อม Retry-After: 5 ระหว่างการโอเวอร์โหลดชั่วคราว หากต้องการดูภาพรวมที่กว้างขึ้นของโมเดลที่ไม่ปฏิเสธคำขอ ให้อ่านหน้า โมเดล AI ที่ไม่มีตัวกรอง

API เป็นข้อความเท่านั้น และมีกฎเข้มงวด: ไม่มีเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์

คู่มือเพิ่มเติม

• Abliterated Models ดาวน์โหลด: แหล่งข้อมูลปลอดภัยและการตรวจสอบ
• Abliterated Models ที่ดีที่สุดสำหรับการเขียนโค้ด: สิ่งที่ต้องพิจารณา