ดาวน์โหลด Abliterated Models: แหล่งที่ปลอดภัยและการตรวจสอบ

สถานที่ที่ผู้คนดาวน์โหลดโดยทั่วไป

น้ำหนักส่วนใหญ่ที่ผ่านการลบการปฏิเสธแล้วถูกเผยแพร่บน Hugging Face ซึ่งเป็นศูนย์กลางสาธารณะหลักสำหรับโมเดลแบบเปิดน้ำหนัก โดยเป็นทั้งไฟล์เช็คพอยต์ความแม่นยำเต็มรูปแบบหรือไฟล์ GGUF ที่ถูกควอนไทซ์สำหรับ llama.cpp, Ollama และ LM Studio ผู้อัปโหลดบางคนยังแชร์ไฟล์ผ่านทอร์เรนต์หรือบริการโฮสต์ไฟล์อื่นๆ ควรใช้ความระมัดระวังมากขึ้นกับแหล่งเหล่านี้ เนื่องจากคุณจะสูญเสียหน้าโมเดล ประวัติเวอร์ชัน และความคิดเห็นจากชุมชนที่ช่วยในการประเมินการเผยแพร่

ที่เก็บโค้ดที่มีประวัติยาวนาน มีโมเดลการ์ดที่ชัดเจน และหัวข้อสนทนาที่ผู้อื่นรายงานพฤติกรรมของโมเดล เป็นสัญญาณที่ดีกว่าบัญชีใหม่ที่มีการอัปโหลดเพียงรายการเดียวและไม่มีคำอธิบาย คุณสามารถอ่านเพิ่มเติมเกี่ยวกับเทคนิคนี้ในคำอธิบายของเราเกี่ยวกับ โมเดล abliterated คืออะไร

รูปแบบไฟล์กำหนดระดับความเสี่ยงของคุณ

รูปแบบมีความสำคัญมากกว่าที่หลายคนคาดคิด

• safetensors. เก็บเทนเซอร์แบบธรรมดาและไม่สามารถรันโค้ดเมื่อโหลดได้ นี่คือตัวเลือกที่ปลอดภัยกว่าสำหรับน้ำหนักความแม่นยำเต็มรูปแบบ
• GGUF เป็นรูปแบบสำหรับน้ำหนักแบบควอนไทซ์ที่ใช้โดย llama.cpp และเครื่องมือที่สร้างบนพื้นฐานของมัน เป็นเพียงข้อมูล ไม่ใช่โค้ดที่ทำงานได้ และเป็นที่นิยมสำหรับการแชทแบบโลคัล
• ไฟล์ที่ใช้ Pickle (.bin, .pt, .ckpt) การโหลดไฟล์เหล่านี้ด้วยเครื่องมือ Python ทั่วไปสามารถรันโค้ดใดก็ได้ที่ฝังอยู่ในไฟล์ได้ หลีกเลี่ยงไฟล์จากแหล่งที่ไม่รู้จัก หรือโหลดเฉพาะในแซนด์บ็อกซ์

หากที่เก็บโค้ดมีเพียงไฟล์ pickle และคุณไม่พบเวอร์ชัน safetensors หรือ GGUF นั่นเป็นเหตุผลให้มองหาที่อื่น นอกจากนี้ควรระวังที่เก็บโค้ดใดก็ตามที่ส่งสคริปต์โหลด Python แบบกำหนดเองพร้อมกับน้ำหนักโมเดล อ่านสคริปต์นั้นก่อนเรียกใช้งาน หรืออย่าเรียกใช้งานเลย

รายการตรวจสอบก่อนดาวน์โหลด

1. อ่านบัตรโมเดล ควรระบุชื่อโมเดลฐาน วิธีการที่ใช้ในการลบการปฏิเสธ และระดับการควอนไทซ์ บัตรที่กล่าวถึงอะไรเลยถือเป็นสัญญาณเตือน
2. ตรวจสอบใบอนุญาต สำเนาที่ผ่านการลบการปฏิเสธแล้วจะสืบทอดข้อกำหนดของโมเดลฐาน ใบอนุญาตบางฉบับจำกัดการใช้งานเชิงพาณิชย์หรือต้องการการอ้างอิง หากคุณวางแผนที่จะสร้างผลิตภัณฑ์ ให้อ่านข้อกำหนดเหล่านั้นก่อน
3. เปรียบเทียบชื่อโมเดลฐาน กับการปล่อยอย่างเป็นทางการ ผู้ส่งสำเนาอาจแนบชื่อที่ได้รับความนิยมไปกับไฟล์อื่น
4. ดูรายการไฟล์และขนาด ควรตรงกับจำนวนพารามิเตอร์และการควอนไทซ์ ไฟล์ Q4 ขนาด 7B ที่มีขนาด 400 MB หรือไฟล์ขนาด 70B ที่มีขนาด 4 GB ถือว่าผิดปกติ
5. มองหา checksum ที่เผยแพร่แล้ว และตรวจสอบหลังจากดาวน์โหลด
6. อ่านผ่านแท็บชุมชนเพื่อหารายงานเกี่ยวกับเอาต์พุตที่บกพร่อง การทำซ้ำ หรือพฤติกรรมที่ซ่อนอยู่

คำนวณขนาดไฟล์ดาวน์โหลดล่วงหน้า

ขนาดไฟล์โดยประมาณคือ พารามิเตอร์ x บิตต่อน้ำหนักหนึ่งหน่วย / 8 นี่คือเฉพาะน้ำหนักเท่านั้น และไฟล์จริงจะมีขนาดใหญ่กว่าเล็กน้อย

พารามิเตอร์	16-bit	8-bit	4-bit
7B	14 GB	7 GB	3.5 GB
13B	26 GB	13 GB	6.5 GB
34B	68 GB	34 GB	17 GB
70B	140 GB	70 GB	35 GB

คุณยังต้องการพื้นที่ดิสก์ว่างสำหรับการดาวน์โหลด และหากคุณแปลงหรือควอนไทซ์เอง พื้นที่สำหรับไฟล์ชั่วคราว การหมดพื้นที่กึ่งกลางของการถ่ายโอน 70 GB เป็นปัญหาที่พบบ่อย ความจำในการรันไฟล์เป็นอีกเรื่องหนึ่ง: น้ำหนักต้องพอดีกับ GPU หรือหน่วยความจำรวม พร้อมพื้นที่สำรองสำหรับแคชบริบท

ตรวจสอบไฟล์หลังจากได้รับ

ดาวน์โหลดลงในโฟลเดอร์เปล่าแยกต่างหาก เก็บสคริปต์ของคุณไว้ที่อื่น และตรวจสอบแฮชก่อนโหลดไฟล์

Copyhuggingface-cli download some-user/some-repo-GGUF file-Q4_K_M.gguf --local-dir ./incoming
cd incoming
shasum -a 256 file-Q4_K_M.gguf
# compare the output with the checksum shown on the repository page

หากผู้อัปโหลดไม่เผยแพร่ค่าแฮช การตรวจสอบแฮชจะพิสูจน์เพียงว่าไฟล์ไม่เสียหายระหว่างทางเท่านั้น ไม่ได้พิสูจน์ว่าเป็นไฟล์ที่ผู้แต่งตั้งใจไว้ สำหรับสิ่งที่คุณวางแผนจะพึ่งพา ให้เลือกผู้อัปโหลดที่มีไฟล์ซึ่งถูกทำสำเนาหรือมีการพูดคุยโดยผู้อื่น โหลดไฟล์ใหม่บนเครื่องที่ไม่มีการเข้าถึงข้อมูลสำคัญก่อน

บันทึกสิ่งที่คุณดาวน์โหลดไว้: ชื่อที่เก็บโค้ด วันที่ ชื่อไฟล์ และแฮช เมื่อมีการแก้ไขที่ดีกว่าปรากฏขึ้นหนึ่งเดือนต่อมา คุณจะต้องเปรียบเทียบทั้งสองบนพรอมต์เดียวกัน และคุณจะต้องรู้แน่ชัดว่าไฟล์ใดที่คุณทดสอบก่อน

สุดท้าย ให้ทดสอบพฤติกรรม รันพรอมต์สิบถึงยี่สิบอันจากงานจริงของคุณและอ่านผลลัพธ์ ไฟล์อาจสมบูรณ์แต่ยังเป็นการแก้ไขที่แย่: การตอบที่ไม่เป็นเหตุเป็นผล การทำซ้ำอย่างต่อเนื่อง หรือการปฏิเสธที่ยังไม่ถูกลบออกทั้งหมด

สัญญาณเตือนที่ควรหยุด

บางสัญญาณเพียงพอที่จะเดินจากไปโดยไม่ต้องวิเคราะห์เพิ่มเติม

• ที่เก็บโค้ดขอให้คุณปิดการสแกนความปลอดภัย เรียกใช้โปรแกรมติดตั้ง หรือวางคำสั่งลงในเทอร์มินัลในฐานะ root
• ลิงก์ดาวน์โหลดชี้ไปยังโฮสต์ไฟล์ที่ไม่ใช่หน้าของที่เก็บโค้ด หรือหน้าเว็บบอกให้คุณปิดโปรแกรมป้องกันไวรัส
• บัตรโมเดลสัญญาว่า "uncensored 100% เสียหายศูนย์" หรือข้ออ้างอื่นๆ ที่ไม่สามารถเป็นจริงได้กับการแก้ไขน้ำหนัก การแก้ไขทุกครั้งมีข้อแลกเปลี่ยน และบัตรที่ซื่อสัตย์จะบอกเช่นนั้น
• การอัปโหลดซ้ำของการปล่อยที่รู้จักภายใต้ชื่อใหม่ พร้อมขนาดไฟล์ที่แตกต่างจากต้นฉบับ
• ไม่มีข้อความใบอนุญาตเลย สำหรับโมเดลฐานที่ทราบว่ามีใบอนุญาต

แม้กับสัญญาณที่สะอาด ให้รันไฟล์ใหม่ด้วยการเข้าถึงน้อยที่สุดที่คุณสามารถให้ได้ GGUF ที่เปิดโดยเวอร์ชันปัจจุบันของ runtime หลักมีความเสี่ยงน้อยต่อการรันโค้ด แต่ runtime มีข้อบกพร่อง ดังนั้นจึงควรอัปเดตให้ทันสมัย หากมีบางอย่างดูผิดปกติ ให้ลบไฟล์และเลือกแหล่งอื่น การดาวน์โหลดใหม่ใช้เวลาไม่กี่นาที; การกู้คืนจากไฟล์ที่ไม่ดีบนเครื่องที่เก็บงานของคุณไม่ได้ใช้เวลาไม่กี่นาที

เมื่อ endpoint แบบโฮสต์ประหยัดเวลา

การดาวน์โหลดมีความหมายเมื่อคุณต้องการใช้งานออฟไลน์ ควบคุมการควอนไทซ์ได้เต็มที่ หรือคุณวางแผนที่จะรวมและทดลอง หากคุณต้องการเพียงโมเดลที่ตอบคำถามโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย API แบบโฮสต์ช่วยประหยัดการดาวน์โหลด พื้นที่จัดเก็บ การตรวจสอบ และการวางแผนหน่วยความจำ

บริการนี้ให้บริการโมเดลแบบเปิดน้ำหนักหนึ่งโมเดล โดยผู้ให้บริการอิสระ ภายใต้ ID uncensored ไม่ใช่สำเนาของ API ทางการของผู้ขายรายใดรายหนึ่ง คุณสามารถเรียกใช้งานเหมือน OpenAI:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "List five checks for a downloaded file."}],
)
print(r.choices[0].message.content)

หน้าต่างบริบทคือ 100,000 โทเคน สตรีมมิง การเรียกใช้ฟังก์ชัน และโหมด JSON รองรับได้ และพรอมต์ไม่ถูกใช้ในการฝึก พารามิเตอร์และขีดจำกัดอยู่ที่ หน้าเอกสาร

ต้นทุน API เมื่อเทียบกับการดาวน์โหลด

ไม่มีต้นทุนการดาวน์โหลด แต่คุณจ่ายต่อโทเคน: $0.15 ต่อ 1M โทเคนอินพุตและ $0.50 ต่อ 1M โทเคนเอาต์พุต คำขอที่มี 4,000 โทเคนอินพุตและ 800 โทเคนเอาต์พุตมีค่าใช้จ่าย 4,000 / 1,000,000 x $0.15 = $0.0006 บวก 800 / 1,000,000 x $0.50 = $0.0004 ดังนั้น $0.001 คำขอพันแบบนั้นมีค่าใช้จ่าย $1

ยอดเติมขั้นต่ำคือ $20 พร้อมโบนัส +5% จาก $50, +10% จาก $100 และ +15% จาก $200 ชำระเงินด้วยคริปโต ดูรายละเอียดที่ ราคา เพื่อทดสอบโดยไม่ต้องชำระเงิน รับเครดิตทดลองใช้ $0.50 ในหน้าคีย์ API หลังจากสมัครสมาชิก; เครดิตนี้มีอายุการใช้งาน 7 วัน สำหรับการเขียนโค้ดโดยเฉพาะ หน้า โมเดล abliterated สำหรับการเขียนโค้ด จะเปรียบเทียบสิ่งที่ควรสังเกต

คู่มือเพิ่มเติม

• วิธีรัน Abliterated Models: ในเครื่อง, คลาวด์ หรือ API
• Abliterated Models ที่ดีที่สุดสำหรับการเขียนโค้ด: สิ่งที่ต้องพิจารณา