Abliterated Models 下载：安全来源与检查

人们通常下载的地方

大多数消融权重发布在 Hugging Face 上，这是开放权重模型的主要公共中心，以全精度检查点或用于 llama.cpp、Ollama 和 LM Studio 的量化 GGUF 文件形式提供。一些上传者也在种子文件或文件托管服务上分享文件。对这些文件要更加谨慎，因为你会失去模型页面、版本历史和有助于判断发布的社区评论。

拥有悠久历史、清晰的模型卡片以及他人讨论其行为的讨论区的仓库，比只有一个上传且无描述的新账号更可靠。你可以在我们关于什么是去拒绝版的解释中了解更多。

文件格式决定了你承担的风险

格式的重要性超过大多数人的预期。

• safetensors。 存储普通张量，加载时无法运行代码。这是全精度权重的更安全选择。
• GGUF。 一种用于 llama.cpp 及其构建工具的量化权重格式。它也是数据而非可执行代码，是本地聊天的常用选择。
• 基于 pickle 的文件 (.bin, .pt, .ckpt)。 使用常见的 Python 工具加载这些文件可能会执行文件中嵌入的任意代码。避免从未知来源加载它们，或者仅在沙箱中加载。

如果仓库仅提供 pickle 文件，且你找不到 safetensors 或 GGUF 版本，那就是去别处寻找的理由。还要小心那些随权重一起提供自定义 Python 加载器脚本的仓库。在运行之前阅读该脚本，或者不要运行它。

下载前的检查清单

1. 阅读模型卡片。 它应注明基础模型、去除拒绝机制的方法以及量化级别。如果卡片未提及任何信息，这是一个警告信号。
2. 检查许可证。 去拒绝版副本继承基础模型的条款。某些许可证限制商业用途或要求署名。如果你计划构建产品，请先阅读它们。
3. 比较基础模型名称 与官方发布版本。山寨上传者可能会将一个热门名称附加到不同的文件上。
4. 查看文件列表和大小。 它们应与参数量和量化级别匹配。400 MB 的 7B Q4 文件或 4 GB 的 70B 文件都是错误的。
5. 留意已发布的校验和，并在下载后验证它。
6. 快速浏览社区标签页，查看关于输出异常、重复或隐藏行为的报告。

先计算下载大小

近似文件大小为 参数量 x 每个参数的比特数 / 8。这些仅是权重，实际文件会稍大一些。

参数	16 位	8 位	4 位
7B	14 GB	7 GB	3.5 GB
13B	26 GB	13 GB	6.5 GB
34B	68 GB	34 GB	17 GB
70B	140 GB	70 GB	35 GB

你还需要空闲磁盘空间用于下载，如果自行转换或量化，还需要用于中间文件。在 70 GB 传输中途因空间不足而中断是常见的麻烦。运行文件所需的内存是另一个问题：权重必须适合 GPU 或统一内存，并留出上下文缓存的额外空间。

文件到达后对其进行验证

下载到一个独立的空文件夹中，将脚本保存在其他地方，并在加载文件之前检查哈希值。

Copyhuggingface-cli download some-user/some-repo-GGUF file-Q4_K_M.gguf --local-dir ./incoming
cd incoming
shasum -a 256 file-Q4_K_M.gguf
# compare the output with the checksum shown on the repository page

如果上传者未发布校验和，哈希值仅证明文件在传输过程中未损坏，而不是证明它符合作者的预期。对于任何你计划依赖的内容，优先选择文件也被其他人镜像或讨论的上传者。首先在没有访问敏感数据的机器上加载新文件。

记录你下载的内容：仓库名称、日期、文件名和哈希值。当一个月后出现更好的编辑版时，你会想要使用相同的提示词比较两者，并且你需要确切知道首先测试的是哪个文件。

最后，测试行为。运行来自你实际工作的十到二十个提示词并阅读输出。一个文件可能完好无损但仍是一个编辑质量差的版本：不连贯的回复、持续的重复，或未被完全移除的拒绝。

应阻止你的红旗信号

一些信号足以让你在不进行进一步分析的情况下离开。

• 仓库要求你禁用安全扫描、运行安装程序，或以 root 身份将命令粘贴到终端中。
• 下载链接指向不是仓库页面的文件托管服务，或者页面告诉你禁用你的杀毒软件。
• 模型说明承诺“100% 无审查，零损失”或任何无法适用于权重编辑的声明。每次编辑都有权衡，诚实的说明会说明这一点。
• 以新名称重新上传已知发布，且文件大小与原始文件不同。
• 对于已知具有许可证的基础模型，完全没有许可证文本。

即使信号干净，也要以你能给予的最小访问权限运行新文件。当前版本的主流运行时打开 GGUF 文件几乎没有代码执行风险，但运行时曾有漏洞，因此请保持更新。如果看起来有问题，删除文件并选择另一个来源。重新下载只需几分钟；从持有你工作的机器上的坏文件中恢复则更耗时。

托管接口节省时间的场景

当你需要离线使用、完全控制量化，或计划合并和实验时，下载是有意义的。如果你只需要一个在法律允许的成人用途中无内容拒绝的模型，托管 API 可以节省下载、存储、验证和内存规划。

该服务由独立提供商运营一个开放权重模型，模型 ID 为 uncensored。它不是任何供应商官方 API 的镜像。你可以像调用 OpenAI 一样调用它：

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "List five checks for a downloaded file."}],
)
print(r.choices[0].message.content)

上下文窗口为 100,000 个 token。支持流式输出、函数调用和 JSON 模式，提示词不用于训练。参数和限制在 文档页面 上。

API 成本与下载对比

没有下载成本，但你按 token 付费：每 1M 输入 token $0.15，每 1M 输出 token $0.50。一次包含 4,000 个输入 token 和 800 个输出 token 的请求成本为 4,000 / 1,000,000 x $0.15 = $0.0006 加上 800 / 1,000,000 x $0.50 = $0.0004，即 $0.001。一千次这样的请求成本为 $1。

最低充值额为 $20，$50 起 +5%，$100 起 +10%，$200 起 +15%。支持加密货币支付。详见 定价。要无支付测试，注册后在 API 密钥页面 领取 $0.50 试用额度；有效期为 7 天。专门针对编程用途，用于编程的去拒绝版模型 页面比较了需要注意的事项。

更多指南

• 如何运行 Abliterated Models：本地、云端或 API
• 最佳 Abliterated Models 用于编码：寻找什么