如何運行 Abliterated Models：本地、雲端或 API

先進行最便宜的測試

	本地	租用雲端 GPU	託管 API
前期成本	你可能已經擁有的硬體	無	無
設定時間	一個晚上	一個晚上，加上遠端伺服器維護	分鐘
持續成本	電力	機器運行期間每小時計費	每個 token
所需技能	中等	中等至高	低
隱私權	最高	取決於主機	伺服器端；提示詞不用於訓練

如果你只需要模型對合法成人請求不拒絕回答，API 是最短的路徑。如果你想嘗試權重、合併模型或在離線環境運行，請選擇本地部署。雲端 GPU 選項適合那些需要運行大型模型幾小時，但不想購買硬體的人。

路線 1：在本機執行

你需要以執行環境可載入的格式取得權重，並具備足夠的記憶體。最常見的設定是搭配 llama.cpp 或基於它的工具（如 Ollama 或 LM Studio）使用 GGUF 檔案。

1. 估算記憶體。權重大約是參數 x bits / 8。14B 模型在 4-bit 時約需 7 GB。請額外預留幾 GB 給上下文快取。
2. 從信賴的來源下載量化檔案。什麼是 abliterated 模型頁面說明了這些檔案的內容。
3. 啟動伺服器。使用 llama.cpp 時，指令如下所示。
4. 將你的應用程式指向它。 伺服器提供 OpenAI 風格的端點，因此任何相容的用戶端皆可連線。

Copyllama-server -m ./weights-Q4_K_M.gguf -c 8192 -ngl 99 --port 8080

此處 -c 設定上下文長度，-ngl 99 若記憶體足夠則將所有層加載至 GPU。若記憶體不足請降低 -ngl，若層數留在 CPU 上則預期輸出速度會較慢。

常見的本機問題很容易識別。如果載入時因記憶體不足而失敗，請選擇較小的量化或降低上下文長度，因為快取會隨其擴展。如果輸出極度緩慢，表示部分層正在 CPU 上運行，請檢查加載的層數。如果回覆逐漸陷入重複，請稍微降低溫度並提高重複懲罰。如果模型的輸出格式奇怪，可能是聊天模板與模型預期的不符；大多數執行環境允許你明確設定它。

當隱私和離線使用很重要，或你已經擁有記憶體 16 GB 或以上的顯示卡時，本機執行是最佳選擇。

路線 2：在雲端租用 GPU

租賃服務讓你啟動一台配備大型 GPU 的機器並按小時付費。步驟與本地路線相同，但你需要透過 SSH 在遠端機器上執行，且使用期間必須保持機器運作。最後這一點很重要：閒置時也要付費，所以完成後請將它停止。

典型的租賃流程如下：選擇具有足夠 GPU 記憶體以運行你模型的機器，從已安裝驅動程式的預建映像檔啟動它，複製或下載權重，啟動伺服器，並透過 SSH 隧道連線，使埠號不會公開。大型檔案的下載時間可能需要二十到三十分鐘，且計費通常在此期間進行。將這些步驟寫成腳本一次，以便下次會話能快速啟動。

請在供應商網站上查看目前的每小時價格，因為價格經常變動。對於一次性任務（例如將大型模型批次處理一批文件）來說，租用機器是合理的選擇。但對於每天只開啟幾次的聊天應用，租用就不太划算，因為計費器在會話之間仍會持續計費，而且權重的持久儲存卷通常會另外計費。

安全由你負責。請勿在沒有驗證的情況下將模型伺服器暴露在公開網際網路上，因為任何發現該連接埠的人都可以使用你的 GPU 時間。

途徑 3：呼叫託管 API

此服務提供單一開放權重模型，由獨立供應商運行，並針對合法成人用途進行調整，使其不會拒絕內容。模型 ID 為 uncensored。它不是任何模型供應商的官方 API，也不是跨數個模型的路由器。Base URL 為 https://api.abliteratedmodels.cc/v1。

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a candid technical assistant."},
        {"role": "user", "content": "Explain TCP slow start in five sentences."},
    ],
    temperature=0.7,
)
print(resp.choices[0].message.content)

使用 curl 的相同請求：

Copycurl https://api.abliteratedmodels.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}],"stream":false}'

串流輸出、工具呼叫和 JSON 模式的運作方式與 OpenAI API 相同。詳細資訊請見 文件。

各路徑的成本，以及 API 計算

本地和租賃成本取決於你需要自行查詢的價格。API 成本很容易計算。費率為每 1M 輸入 token $0.15，每 1M 輸出 token $0.50。

一個具有 8,000 token 上下文和 600 token 回答的程式碼輔助請求，輸入成本為 8,000 / 1,000,000 x $0.15 = $0.0012，輸出成本為 600 / 1,000,000 x $0.50 = $0.0003。每次請求總計 $0.0015。每天 100 次請求，連續 30 天，共 3,000 次請求，或每月 $4.50。

最低儲值金額為 $20，足以覆蓋該用量超過四個月，且額度永不過期。贈額優惠從 $50 起：+5%，從 $100 起 +10%，從 $200 起 +15%。你可以使用加密貨幣（TRC20 上的 USDT、Base 上的 USDC）付款。請見 定價頁面 查看表格。

哪些模型在程式碼方面表現良好

如果你的目標是程式碼，模型大小和訓練資料比去審查的步驟更重要。較大的模型能寫出更可靠的程式碼，但需要更多的本地記憶體。最佳去審查程式碼模型：應注意什麼列出了應注意的項目。測試候選模型時，請給每個模型相同的五到六個來自你實際工作的任務：修復錯誤、撰寫短函式、重構程式碼、解釋不熟悉的程式碼。比較結果，而非行銷說詞。

託管選項可作為基準，相當實用。首先對 API 運行你的任務集，然後看看你能負擔得起的本地模型是否能匹敵它。

先進行最便宜的測試

在購買硬體或租用機器之前，先在 API 上花幾分鐘時間。使用 Google 帳戶或電子郵件與密碼註冊，然後前往 API 金鑰頁面 領取試用額度。金額為 $0.50，有效期為 7 天，每人限領一次，且無需綁定信用卡。以每次請求 $0.0015 計算，這可以進行超過 300 次請求。

試用金鑰允許 2 個並行請求和每分鐘 60 次。完整金鑰允許 8 個和每分鐘 300 次。若超過限制，會收到 HTTP 429 錯誤，並顯示 rate_limited 或 concurrency，以及在暫時過載時收到 429 錯誤與 Retry-After: 5標頭。若要更廣泛地了解無拒絕的模型，請閱讀關於 無過濾 AI 模型的頁面。

API 僅支援文字，並有一項硬性規定：禁止涉及未成年人的性內容。

更多指南

• Abliterated Models 下載：安全來源與檢查
• Abliterated Models 程式碼最佳選擇：應注意什麼