Abliterated Models 下載：安全來源與檢查

人們通常下載的來源

大多數 abliterated 權重發布在 Hugging Face，這是開放權重模型的主要公開中心，以全精度檢查點或用於 llama.cpp、Ollama 和 LM Studio 的量化 GGUF 檔案形式提供。一些上傳者也會在種子或檔案主機上分享檔案。請更謹慎對待這些來源，因為你會失去模型頁面、版本歷史和有助於判斷發布品質的社群評論。

擁有悠久歷史、清晰模型說明，且討論串中其他人報告其行為的儲存庫，比只有一個上傳且無描述的帳戶是更好的跡象。你可以在我們關於 abliterated 模型是什麼的說明文章中閱讀更多關於該技術的內容。

檔案格式決定你承擔的風險

格式的重要性比大多數人預期的還要高。

• safetensors. 儲存原始張量，載入時無法執行程式碼。這是全精度權重的較安全選擇。
• GGUF。 一種用於量化權重的格式，由 llama.cpp 及其建構的工具使用。它也是資料而非可執行程式碼，通常是本機聊天的首選。
• 基於 pickle 的檔案（.bin、.pt、.ckpt）。 使用常見的 Python 工具載入這些檔案可能會執行檔案中嵌入的任意程式碼。避免從不明來源使用它們，或僅在沙盒中載入。

如果儲存庫只提供 pickle 檔案，且你找不到 safetensors 或 GGUF 版本，這是一個尋找其他來源的理由。也要小心那些隨權重一起提供自訂 Python 載入器腳本的儲存庫。在執行之前請閱讀該腳本，或者不要執行它。

下載前的檢查清單

1. 閱讀模型說明。 它應指出基礎模型、移除審查的方法以及量化等級。如果說明什麼都沒說，這是一個警告信號。
2. 檢查授權。 abliterated 副本繼承基礎模型的條款。某些授權限制商業用途或要求歸功。如果你打算建立產品，請先閱讀它們。
3. 將基礎模型名稱與官方發布進行比較。冒名上傳者可能會將熱門名稱附加到不同的檔案上。
4. 查看檔案列表和大小。 它們應與參數計數和量化相符。7B Q4 檔案為 400 MB，或 70B 檔案為 4 GB，都是錯誤的。
5. 尋找已發布的總和檢查碼 並在下載後進行驗證。
6. 瀏覽社群標籤頁查看關於輸出錯誤、重複或隱藏行為的報告。

先計算下載大小

近似檔案大小為參數 x 每個權重的位元數 / 8。這些僅是權重，實際檔案會稍大一些。

參數	16 位元	8 位元	4 位元
7B	14 GB	7 GB	3.5 GB
13B	26 GB	13 GB	6.5 GB
34B	68 GB	34 GB	17 GB
70B	140 GB	70 GB	35 GB

你還需要用於下載的免費磁碟空間，以及如果你自行轉換或量化，用於中間檔案的空間。在 70 GB 傳輸中途耗盡空間是常見的麻煩。運行檔案所需的記憶體是另一個問題：權重必須適合 GPU 或統一記憶體，並為上下文快取保留額外空間。

檔案到達後驗證

下載到一個空的資料夾中，將腳本放在其他地方，並在載入檔案之前檢查雜湊值。

Copyhuggingface-cli download some-user/some-repo-GGUF file-Q4_K_M.gguf --local-dir ./incoming
cd incoming
shasum -a 256 file-Q4_K_M.gguf
# compare the output with the checksum shown on the repository page

如果上傳者未公布校驗和，雜湊值僅能證明檔案在傳輸過程中未損壞，無法證明其為作者意圖的內容。對於任何你依賴該檔案的用途，請優先選擇檔案也有備份或由其他人討論的上傳者。先在無法存取敏感資料的機器上載入新檔案。

記錄你下載的內容：儲存庫名稱、日期、檔案名稱和雜湊值。當一個月後出現更好的編輯版本時，你會想要在同一組提示詞下比較兩者，並且你會想要知道你先測試了哪個檔案。

最後，測試行為。運行十到二十個來自你實際工作的提示詞並閱讀輸出。一個檔案可能完好無損但仍是一個糟糕的編輯：不連貫的回覆、持續的重複，或未完全移除的拒絕回答。

應阻止你的紅旗信號

某些信號足以讓你在不進一步分析的情況下離開。

• 該儲存庫要求你停用安全掃描、執行安裝程式，或將指令貼到終端機中以 root 身分執行。
• 下載連結指向的不是儲存庫頁面的檔案主機，或者頁面告訴你停用防毒軟體。
• 模型說明承諾「100% 無審查、零損失」或任何無法對權重編輯為真的聲明。每次編輯都有取捨，誠實的說明會這麼說。
• 以新名稱重新上傳已知發布，且檔案大小與原始檔案不同。
• 完全沒有授權文本，而基礎模型已知擁有一個。

即使信號清晰，也請以你能給予的最小權限運行新檔案。由主流執行階段當前版本開啟的 GGUF 檔案執行程式碼的風險很小，但執行階段曾有過錯誤，因此請保持更新。如果看起來有問題，請刪除檔案並選擇另一個來源。重新下載只需幾分鐘；從存放你工作的機器上的壞檔案中恢復則不然。

託管端點節省時間的時機

當你想要離線使用、完全控制量化，或打算合併和實驗時，下載有意義。如果你只想要一個能回答問題且無內容審查的模型供合法成人使用，託管 API 可節省下載、儲存、驗證和記憶體規劃的時間。

此服務由獨立供應商運行一個開放權重模型，ID 為 uncensored。它不是任何供應商官方 API 的鏡像。你呼叫它的方式與 OpenAI 類似：

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "List five checks for a downloaded file."}],
)
print(r.choices[0].message.content)

上下文視窗為 100,000 個 token。支援串流輸出、工具呼叫和 JSON 模式，且提示詞數據不會用於訓練模型。參數和限制請見 說明文件頁面。

API 成本與下載的比較

沒有下載費用，但按 token 計費：每 1M 輸入 token 為 $0.15，每 1M 輸出 token 為 $0.50。一次請求包含 4,000 個輸入 token 和 800 個輸出 token，成本為 4,000 / 1,000,000 x $0.15 = $0.0006，加上 800 / 1,000,000 x $0.50 = $0.0004，總計 $0.001。這類請求一千次的成本為 $1。

最低儲值為 $20，從 $50 起加 5%，從 $100 起加 10%，從 $200 起加 15%。以加密貨幣付款。詳情見 定價。要免費測試，請在註冊後於 API 金鑰頁面 領取 $0.50 試用額度；有效期為 7 天。專門用於程式碼編寫，請見 用於程式碼編寫的 abliterated 模型頁面，了解應注意的內容。

更多指南

• 如何運行 Abliterated 模型：本機、雲端或 API
• 用於程式碼編寫的 Abliterated Models 最佳選擇：應注意什麼