什么是消融模型？通俗解释

简短说明

消融模型是一种普通的开放权重语言模型，其拒绝行为已通过直接更改模型内部的数值而非重新训练或编写巧妙的提示词来移除。该词融合了“消融”（切除部分以观察其作用）与“抹除”。编辑后，模型不再对已学会拒绝的请求回答“我无法提供帮助”。

在了解细节之前，有三点值得牢记：

• 它是权重编辑，而非提示词技巧。无需维护越狱文本，也不占用上下文。
• 它移除的是行为，而非知识。模型知道它原本就知道的内容；它只是不再拒绝。
• 它并非免费。编辑可能会损害通用质量，因此谨慎的构建者会测试结果，并有时在之后进行微调以修复。

该概念的来源

聊天模型在后期训练中学会拒绝。标注者和奖励模型推动模型倾向于拒绝某些请求，这种习惯与其他所学内容一起被固化。长期以来，这看起来是一种分散在数十亿参数中的行为。

一篇题为语言模型中的拒绝由单一方向介导的研究论文展示了更易于处理的情况。在一系列开放聊天模型中，大部分拒绝行为由模型内部激活空间中的一个方向控制。沿该方向推动激活，模型会拒绝无害请求。移除该方向后，它停止拒绝通常会拒绝的请求。

开源社区将此发现转化为实用配方并命名。消融即该配方：找到拒绝方向，然后使模型无法使用它。

消融逐步工作原理

该过程简短，可分为五步描述。不涉及梯度下降，因此其计算需求远少于训练模型。

1. 收集两组提示词。一组包含模型拒绝的请求，另一组包含模型回答的请求。每组几百条是常见规模。
2. 记录激活值。将两组数据输入模型，并在选定层保存隐藏状态，通常在最终提示词 token 处。
3. 计算方向。 计算每组激活值的平均值，用“拒绝”组的平均值减去“回答”组的平均值，然后对结果进行归一化。该向量即为拒绝方向。
4. 将其投影出去。 可以在运行时减去该方向，或者编辑写入残差流的权重矩阵（嵌入、注意力输出、MLP 输出），使其无法在该方向上产生分量。第二种选项是永久性的，大多数已发布的消融检查点都采用此方法。
5. 测试。运行保留的提示词，比较前后的拒绝率，并检查推理和编码等常规任务是否出现退化。

选择层数至关重要。选择一个能清晰分离两组提示词且编辑有效的层；选择较差的层，你会得到一个仍然拒绝的模型，或在无关问题上表现不佳的模型。实践中，人们会尝试多个层并保留效果最好的一个。

消融与其他方法的比较

有三种常见方法可使模型停止拒绝。它们改变的内容及容易失效的地方各不相同。

方法	变化内容	成本	典型弱点
越狱提示词	仅限输入文本	无，但每次调用都占用上下文	脆弱；模型更新一次即失效
在宽松数据上微调	权重，通过训练	GPU 小时数和精心筛选的数据集	数据集质量决定一切；写作风格可能漂移
消融	权重，通过直接编辑	与训练相比较低	方向是近似的，因此质量可能会下降

许多成品模型会结合多种方法。常见模式是先进行消融，然后运行短期微调以恢复编辑导致的质量损失。阅读模型卡片时，请查看使用了哪些步骤，以及作者是否报告了前后对比测试。

你放弃什么以及需要注意什么

移除拒绝并不会使模型在其他方面变得更好。它只是移除了一个过滤器。随之产生一些后果。

质量可能会下降

拒绝方向与其他特征并非完全分离。移除它可能会模糊邻近行为，表现为推理能力稍弱、格式怪异或语气平淡。好的构建版本会使这些影响最小化，但你应运行自己的提示词，而非依赖标签。

判断权归你

对齐模型有时会出于正当理由拒绝请求。无审查模型通常会继续执行。如果你在其之上构建产品，你决定什么是可接受的：编写系统提示词，添加你自己的输入检查，并记录对你重要的内容。合法成人用途是预期范围。涉及未成年人的内容是此服务的硬性限制，在任何地方都不被接受。

错误仍会发生

模型仍可能编造事实、误解指令或迷失在长对话中。更少的拒绝并不意味着更高的准确性。

此 API 背后的模型定位

本文以通用术语描述该方法。API 提供的是一个开放权重模型，由独立提供商运行，针对合法成人使用进行了调整，使其在没有内容拒绝的情况下回答。它不是 Meta、Mistral、Qwen、DeepSeek、OpenAI 或任何其他供应商的官方 API，也不是跨多个供应商的路由器。它仅处理文本：无图像、音频、嵌入或微调。

接口与 OpenAI 兼容。将任何 OpenAI SDK 指向https://api.abliteratedmodels.cc/v1，使用模型 ID uncensored，并将你的密钥作为 Bearer token 发送：

Copycurl https://api.abliteratedmodels.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "user", "content": "Explain directional ablation in two sentences."}
    ]
  }'

使用官方 SDK 的相同 Python 调用：

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.abliteratedmodels.cc/v1",
    api_key="YOUR_KEY",
)

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "What does a refusal direction mean?"}],
)
print(reply.choices[0].message.content)

上下文窗口为 100,000 token，包含提示词和补全。流式输出、函数调用和 JSON 模式的工作方式与 OpenAI API 相同。详情见API 文档。

关于消融模型的常见误区

关于这些模型流传着一些值得纠正的误解，因为它们会导致人们产生错误的预期。

“它是一个更聪明的模型。”并非如此。编辑移除了一个过滤器。推理、事实记忆和写作技能来自基础模型，充其量它们只能保持不变或略微变差。如果任务在对齐版本中因能力不足而失败，在这里也会失败。

“它完全没有规则。”模型可能没有拒绝习惯，但围绕它的服务有规则。涉及未成年人的性内容是硬性限制，预期范围是合法成人用途。模型仍保留其训练数据的语气和礼仪，因此除非提示词将其推向那里，否则它不会变得粗鲁或危险。

“系统提示词也能做到这一点。”系统提示词可以引导模型，有时这对轻微情况已足够。但提示词会在每次调用中消耗输入 token，与你的真实指令竞争注意力，并在模型的训练反射强烈时失效。权重编辑没有这些成本。

“消融意味着非法。”并非如此。开放权重模型发布给任何人修改，编辑它们是机器学习研究的正常部分。你对输出的使用是法律关注的重点，这仍然是你的责任。

牢记这些要点可以更理性地评估此类模型：将其视为具有较少护栏且底层技能相同的工具，并根据你自身产品的需求包装相应的安全措施。

谁真正需要它

大多数人从未遇到拒绝。遇到拒绝的人往往属于以下几类：

• 小说和角色扮演作家。黑暗主题、具有真实威胁感的反派和道德混乱的场景在文学中很常见。对齐模型通常会软化或拒绝这些内容。面向成人的伴侣和故事应用也会遇到同样的问题。
• 安全和红队人员。编写测试载荷、解释漏洞链的工作原理或分析恶意软件样本可能会触发为普通公众构建的过滤器。
• 审核和研究团队。为了构建有害文本分类器，你有时需要一个能生成示例的模型，或者能毫不退缩地讨论这些示例的模型。
• 受够了重试循环的开发者。 如果你的管道中有一半在捕获拒绝并重述，移除它们可以简化代码。

如果你正在比较成本与控制权上的取舍，并以对齐的托管模型为参照，无审查 LLM API 成本与控制页面详细介绍了这一点。定价固定：每百万输入 token $0.15，每百万输出 token $0.50，失败或被拒绝的请求不收费。查看定价页面了解充值金额和赠送额度。

不花钱试用

你可以在支付任何费用之前测试无审查模型是否适合你的提示词。使用 Google 或电子邮件和密码注册，打开密钥页面，一键领取 $0.50 试用额度。无需银行卡，每人限领一次，有效期 7 天。按此费率，$0.50 可覆盖超过一千次简短对话，这对于公平测试已绰绰有余。

运行你的当前模型拒绝的提示词，将答案与你的判断进行比较，并查看与拒绝无关的任务的质量。如果输出符合要求，从API 密钥页面获取密钥并从 $20 开始充值。

更多指南

• 编程最佳消融模型：注意事项
• 无审查 LLM API：成本与控制分析