如何运行 Abliterated Models：本地、云端或 API

首先选择路线

	本地	租用云端 GPU	托管 API
前期成本	你可能已经拥有的硬件	无	无
设置时间	一个晚上	一个晚上，加上远程服务器维护	分钟
持续成本	电力	机器运行时按小时计费	按 token
所需技能	中等	中等至高	低
隐私	最高	取决于托管方	服务器端；提示词不用于训练

如果你只想要一个不拒绝合法成人请求的模型答案，API 是最短路径。如果你想实验权重、合并模型或离线运行，请选择本地。云端 GPU 选项适合那些需要大型模型几小时但不想购买硬件的人。

路线 1：在本地运行

你需要以运行时加载的格式获取权重，并拥有足够的内存。最常见的设置是使用 llama.cpp 或基于它的工具（如 Ollama 或 LM Studio）的 GGUF 文件。

1. 估算内存。权重约占用的内存约为 参数数量 × 每个权重的位数 / 8。14B 模型在 4-bit 下约为 7 GB。请额外预留几 GB 用于上下文缓存。
2. 从可信赖的来源下载量化文件。什么是去审查模型 页面解释了这些文件包含的内容。
3. 启动服务器。 使用 llama.cpp，命令如下所示。
4. 将你的应用指向它。 服务器暴露一个 OpenAI 风格的接口，因此任何兼容的客户端都可以连接。

Copyllama-server -m ./weights-Q4_K_M.gguf -c 8192 -ngl 99 --port 8080

此处 -c 设置上下文长度，-ngl 99 会将所有层加载到 GPU 上（前提是显存足够）。如果显存不足，请降低 -ngl 的值；如果层保留在 CPU 上，输出速度会变慢。

本地部署的常见问题很容易识别。如果加载时因显存不足而失败，请选择更小的量化精度或降低上下文长度，因为缓存大小会随之变化。如果输出速度极慢，说明部分层正在 CPU 上运行，请检查加载到 GPU 的层数。如果回复出现重复，请略微降低 temperature 并提高 repetition penalty。如果模型以奇怪的格式回答，可能是聊天模板与模型预期的不匹配；大多数运行时允许你显式设置它。

当隐私和离线使用很重要，或者你已经拥有显存 16 GB 或以上的显卡时，本地部署是最佳选择。

路线 2：在云端租用 GPU

租赁服务让你启动一台带有大型 GPU 的机器并按小时付费。步骤与本地路线匹配，但你需要在远程机器上通过 SSH 执行，并且在使用期间必须保持机器运行。最后这一点很重要：空闲时也要付费，所以完成后请停止它。

典型的租赁会话如下。你选择具有足够 GPU 内存的机器，从已安装驱动程序的预构建镜像启动它，复制/下载权重，启动服务器，并通过 SSH 隧道连接，使端口不公开。对于大文件，仅下载就需要 20 到 30 分钟，计费通常在此期间运行。将步骤写入脚本一次，以便下次会话快速启动。

检查提供商网站上的当前每小时价格，因为它们经常变化。对于一次性任务（如通过一批文档运行大型模型），租赁是有意义的。对于每天打开几次的聊天，租赁不太有意义，因为计费在会话之间持续运行，并且权重的持久存储卷通常单独计费。

安全由你负责。不要在没有身份验证的情况下将模型服务器暴露给互联网，因为任何发现端口的人都可以使用你的 GPU 时间。

路径 3：调用托管 API

该服务提供一款开放权重模型，由独立提供商运行，针对合法成人用途进行了优化，无审查。模型 ID 为 uncensored。它不是任何模型厂商的官方 API，也不是跨多个模型的网关。Base URL 为 https://api.abliteratedmodels.cc/v1。

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a candid technical assistant."},
        {"role": "user", "content": "Explain TCP slow start in five sentences."},
    ],
    temperature=0.7,
)
print(resp.choices[0].message.content)

使用 curl 的相同请求：

Copycurl https://api.abliteratedmodels.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}],"stream":false}'

流式输出、函数调用和 JSON 模式的工作方式与 OpenAI API 相同。详细信息见 文档。

每条路线的成本，含 API 计算

本地和租赁成本取决于你需要自行查找的价格。API 成本易于计算。费率为每 1M 输入 token $0.15，每 1M 输出 token $0.50。

包含 8,000 token 上下文的编程助手请求，加上 600 token 的回答，输入费用为 8,000 / 1,000,000 x $0.15 = $0.0012，输出费用为 600 / 1,000,000 x $0.50 = $0.0003。每次请求总计 $0.0015。每天 100 次请求，持续 30 天，共 3,000 次请求，月费为 $4.50。

最低充值为 $20，足以覆盖该使用量超过四个月，且额度永不失效。从 $50 起有奖金：+5%，从 $100 起 +10%，从 $200 起 +15%。你可以通过加密货币（TRC20 上的 USDT、Base 上的 USDC）支付。详见 定价页面 中的表格。

哪些模型在编码方面运行良好

如果你的目标是代码，模型大小和训练数据比去审查步骤更重要。较大的模型编写更可靠的代码，但在本地需要更多内存。最佳编码用去审查模型 上的比较列出了需要注意的内容。测试候选模型时，给每个模型分配来自你实际工作的相同五到六个任务：修复 bug、短函数、重构、解释陌生代码。比较结果，而不是营销。

托管选项作为基线很有用。首先通过 API 运行你的任务集，然后看看你能负担得起的本地模型是否能匹配它。

从最便宜的测试开始

在购买硬件或租用机器之前，花几分钟在 API 上。使用 Google 或电子邮件和密码登录，然后在 API 密钥页面 领取试用。它是 $0.50，有效期 7 天，每人限一次，不需要银行卡。每次请求 $0.0015，这意味着超过 300 次请求。

试用密钥允许 2 个并发请求和每分钟 60 个。完整密钥允许 8 个和 300 个。如果超出限制，你将收到 HTTP 429 错误，响应中包含 rate_limited 或 concurrency 字段；在临时过载期间，还会收到 429 错误，响应头为 Retry-After: 5。如需更全面了解无拒答的模型，请阅读关于 无过滤 AI 模型 的页面。

API 仅支持文本，并有一条硬性规则：禁止涉及未成年人的性内容。

更多指南

• Abliterated Models 下载：安全来源和检查
• 最佳 Abliterated Models 用于编码：寻找什么