Abliterated 모델이란 무엇인가? 쉬운 설명

간단 요약

Abliterated 모델은 거절 동작이 직접적으로 편집된 일반 오픈 웨이트 언어 모델입니다. 재학습하거나 복잡한 프롬프트를 작성하는 대신 모델 내부의 숫자를 변경하여 편집합니다. 이 단어는 "ablation"(부분을 잘라내어 그 역할을 확인하는 것)과 "obliteration"(소멸)의 합성어입니다. 편집 후 모델은 거절하도록 학습된 요청에 대해 "도와드릴 수 없습니다"라고 답하지 않습니다.

자세한 내용을 보기 전에 세 가지 포인트를 기억하세요:

• 프롬프트 트릭이 아닌 가중치 편집입니다. 유지해야 할 jailbreak 텍스트가 없으며 컨텍스트를 소모하지 않습니다.
• 지식이 아닌 동작을 제거합니다. 모델은 이전과 동일한 지식을 가지고 있으며 단순히 거절하지 않을 뿐입니다.
• 무료가 아닙니다. 편집으로 인해 일반 품질이 저하될 수 있으므로 신중한 제작자는 결과를 테스트하고 때로는 품질을 복구하기 위해 이후 파인튜닝을 수행합니다.

아이디어의 기원

채팅 모델은 사후 훈련 중 거절하는 법을 배웁니다. 어노테이터와 보상 모델은 모델을 특정 요청에 대해 거절하도록 유도하며, 이 습관은 모델이 학습한 모든 것과 함께 고정됩니다. 오랫동안 이는 수십억 개의 매개변수에 걸쳐 분산된 동작처럼 보였습니다.

언어 모델의 거절은 단일 방향에 의해 매개됩니다라는 연구 논문은 더 다루기 쉬운 것을 보여주었습니다. 다양한 오픈 채팅 모델에 걸쳐 거절 동작의 대부분은 모델의 내부 활성화 공간에서 하나의 방향에 의해 제어됩니다. 활성화 값을 해당 방향으로 밀면 모델은 무해한 요청조차 거절합니다. 해당 방향을 제거하면 모델은 평소 거절했을 요청을 더 이상 거절하지 않습니다.

오픈소스 커뮤니티는 이 발견을 실용적인 레시피로 전환하고 이름을 붙였습니다. Abliteration은 바로 그 레시피입니다: 거절 방향을 찾은 후 모델이 이를 사용하지 못하게 만듭니다.

Abliteration의 작동 방식 단계별 설명

절차는 5단계로 설명할 수 있을 정도로 짧습니다. 경사 하강법이 포함되지 않으므로 모델 학습보다 훨씬 적은 컴퓨팅 자원이 필요합니다.

1. 두 프롬프트 세트를 수집합니다. 하나의 세트는 모델이 거절하는 요청을 포함하고, 다른 세트는 모델이 답변하는 요청을 포함합니다. 각 세트당 수백 개가 일반적인 크기입니다.
2. 활성화를 기록합니다. 두 세트를 모델에 통과시키고 선택한 레이어의 은닉 상태를 저장합니다. 보통 마지막 프롬프트 토큰에서 저장합니다.
3. 방향성을 계산합니다. 각 세트의 활성화 값을 평균내고, "거절" 평균에서 "답변" 평균을 빼서 결과를 정규화합니다. 이 벡터가 거절 방향입니다.
4. 투영하여 제거합니다. 실행 시 방향을 빼거나, 잔류 스트림에 기록하는 가중치 행렬(임베딩, 어텐션 출력, MLP 출력)을 편집하여 해당 방향의 성분을 생성할 수 없게 만듭니다. 두 번째 옵션은 영구적이며 대부분의 출판된 abliterated 체크포인트에서 사용합니다.
5. 테스트합니다. 홀드아웃 프롬프트를 실행하고 거절률을 비교하며, 추론 및 코딩과 같은 일반 작업의 회귀를 확인합니다.

레이어 선택이 중요합니다. 방향이 두 프롬프트 세트를 명확히 분리하고 편집이 효과적으로 작동하는 레이어를 선택하세요. 그렇지 않은 레이어를 선택하면 여전히 거절하는 모델이나 관련 질문에서 역량을 상실할 수 있는 모델을 얻게 됩니다. 실제로 사람들은 여러 레이어를 시도한 후 가장 좋은 것을 선택합니다.

Abliteration과 다른 접근 방식 비교

모델이 거절하지 않도록 하는 데에는 세 가지 일반적인 방법이 있습니다. 이들은 변경하는 내용과 실패하는 경향에서 차이가 있습니다.

접근 방식	변경 사항	비용	일반적인 약점
jailbreak 프롬프트	입력 텍스트만	없음, 하지만 모든 호출에서 컨텍스트를 사용함	취약함; 모델 업데이트 한 번으로 작동이 중단됨
제한 없는 데이터로 파인튜닝	학습을 통한 가중치	GPU 시간과 선별된 데이터셋	데이터셋 품질이 모든 것을 결정합니다; 작성 스타일이 흐트러질 수 있음
Abliteration	직접 편집을 통한 가중치	학습에 비해 낮음	방향이 근사치이므로 품질이 하락할 수 있음

많은 완성된 모델은 방법을 결합합니다. 일반적인 패턴은 먼저 abliteration을 수행한 후 편집으로 인해 손실된 품질을 복구하기 위해 짧은 파인튜닝을 수행하는 것입니다. 모델 카드를 읽을 때 이러한 단계 중 어느 것이 사용되었는지, 그리고 작성자가 실험 전후 테스트를 보고하는지 확인하세요.

포기하는 것과 주의할 점

거절을 제거한다고 해서 모델이 어떤 면에서든 더 나아지는 것은 아닙니다. 필터를 제거하는 것입니다. 몇 가지 결과가 따릅니다.

품질이 하락할 수 있음

거절 방향은 다른 기능과 완전히 분리되어 있지 않습니다. 이를 제거하면 인접한 동작이 흐려져 약간 더 나쁜 추론, 이상한 형식 또는 평평한 어조로 나타날 수 있습니다. 좋은 빌드는 이러한 영향을 작게 유지하지만, 레이블을 신뢰하기보다 자체 프롬프트를 실행해야 합니다.

판단은 이제 귀하의 것입니다

정렬된 모델은 때때로 좋은 이유로 요청을 거절합니다. 무검열 모델은 일반적으로 계속 진행합니다. 이를 기반으로 제품을 출시한다면 허용 가능한 기준을 귀하가 결정합니다: 시스템 프롬프트를 작성하고 자체 입력 검사를 추가하며 귀하에게 중요한 사항을 로깅하세요. 합법적인 성인 대상 사용이 의도된 범위입니다. 미성년자가 포함된 콘텐츠는 이 서비스에서 엄격한 제한 사항이며 어디에서나 허용되지 않습니다.

실수는 여전히 발생함

모델은 여전히 사실을 발명하거나 지시를 오해하거나 긴 대화의 맥락을 잃을 수 있습니다. 거절이 적어진다고 해서 정확도가 높아지는 것은 아닙니다.

이 API 뒤에 있는 모델의 위치

이 기사는 일반적인 용어로 방법을 설명합니다. API가 제공하는 것은 독립적인 제공자가 운영하는 오픈 웨이트 모델 중 하나로, 합법적인 성인 대상 사용을 위해 콘텐츠 거절 없이 답변하도록 조정되었습니다. Meta, Mistral, Qwen, DeepSeek, OpenAI 또는 기타 벤더의 공식 API가 아니며 여러 벤더를 라우팅하지도 않습니다. 텍스트만 처리합니다: 이미지, 오디오, 임베딩 또는 파인튜닝 없음.

인터페이스는 OpenAI와 호환됩니다. 모든 OpenAI SDK를 https://api.abliteratedmodels.cc/v1에 연결하고, 모델 ID uncensored를 사용하며 키를 Bearer 토큰으로 전송하세요:

Copycurl https://api.abliteratedmodels.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "user", "content": "Explain directional ablation in two sentences."}
    ]
  }'

공식 SDK를 사용한 동일한 호출:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.abliteratedmodels.cc/v1",
    api_key="YOUR_KEY",
)

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "What does a refusal direction mean?"}],
)
print(reply.choices[0].message.content)

컨텍스트 창은 프롬프트와 completion을 합산하여 100,000 토큰입니다. 스트리밍, 도구 호출 및 JSON 모드는 OpenAI API에서 작동하는 방식과 동일하게 작동합니다. 자세한 내용은 API 문서를 참조하세요.

Abliterated 모델에 대한 흔한 오해

이 모델들에 대해 잘못된 기대를 불러일으킬 수 있는 몇 가지 흔한 오해가 있습니다. 이를 바로잡는 것이 중요합니다.

"더 똑똑한 모델입니다." 그렇지 않습니다. 이 편집은 필터를 제거할 뿐입니다. 추론 능력, 사실 기억력, 글쓰기 실력은 베이스 모델에서 비롯되며, 오히려 약간 떨어질 수도 있습니다. 능력 부족으로 정렬된 버전에서 실패한 작업은 이 모델에서도 동일하게 실패합니다.

"완전히 규칙이 없습니다." 모델이 거절 습관이 없을 수 있지만, 이를 둘러싼 서비스에는 규칙이 있습니다. 미성년자가 포함된 성적인 콘텐츠는 엄격한 제한 사항이며, 의도된 사용 범위는 합법적인 성인 대상 사용입니다. 모델은 학습 데이터의 어조와 매너를 그대로 유지하므로, 프롬프트가 강요하지 않는 한 무례하거나 위험해지지 않습니다.

"시스템 프롬프트로 같은 일을 할 수 있습니다." 시스템 프롬프트는 모델에 약간의 영향을 줄 수 있으며, 가벼운 경우에는 충분할 수 있습니다. 하지만 프롬프트는 매번 호출 시 입력 토큰을 소모하며, 실제 지시사항과 주의력을 두고 경쟁하고, 모델의 학습된 반사가 강할 때는 효과가 떨어집니다. 가중치 편집은 이러한 비용이 없습니다.

"Abliterated는 불법을 의미합니다." 아닙니다. 오픈 웨이트 모델은 누구나 수정할 수 있도록 공개되며, 이를 수정하는 것은 기계 학습 연구의 일반적인 부분입니다. 출력물을 어떻게 사용하는지가 법이 주목하는 부분이며, 그 책임은 여전히 귀하에게 있습니다.

이러한 점들을 염두에 두면 다음과 같은 모델을 더 합리적으로 평가할 수 있습니다: 더 적은 가드레일과 동일한 기본 기술을 가진 도구로서, 자체 제품에 필요한 모든 보호 장치로 감싸져야 합니다.

누가 실제로 필요로 하는가

대부분의 사용자는 거절을 경험하지 않습니다. 거절을 경험하는 사람들은 주로 몇 가지 그룹으로 나뉩니다:

• 소설 및 역할극 작가. 어두운 주제, 실제 위압감을 주는 악당, 도덕적으로 복잡한 장면은 문학에서 일반적입니다. 정렬된 모델은 이러한 내용을 종종 완곡하게 처리하거나 거부합니다. 성인 대상 동반자 및 스토리 앱도 같은 문제에 직면합니다.
• 보안 및 레드팀 담당자. 테스트 페이로드 작성, 익스플로잇 체인 설명 또는 말웨어 샘플 분석은 일반 대중을 위해 설계된 필터를 트리거할 수 있습니다.
• 모더레이션 및 연구 팀. 유해 텍스트용 분류기를 구축하려면 때때로 해당 예시를 생성하거나 주저하지 않고 논의할 수 있는 모델이 필요합니다.
• 재시도 루프에 지친 개발자. 파이프라인의 절반이 거절을 감지하고 다시 작성하는 데 사용된다면, 이를 제거하면 코드가 단순해집니다.

정렬된 호스팅 모델 대비 비용과 제어의 균형을 고려 중이라면, 무검열 LLM API 비용 대 제어 페이지에서 이를 자세히 다룹니다. 가격은 고정되어 있습니다: 입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50이며, 실패하거나 거부된 요청에는 요금이 부과되지 않습니다. 충전 금액과 보너스에 대해서는 가격 책정 페이지를 참조하십시오.

비용 없이 테스트해 보기

지불하기 전에 무검열 모델이 프롬프트에 적합한지 테스트할 수 있습니다. Google 또는 이메일과 비밀번호로 가입하고 키 페이지로 이동하여 한 번의 클릭으로 $0.50 무료 체험 크레딧을 청구하세요. 카드가 필요 없으며, 1인당 한 번만 사용 가능하고 7일 동안 유효합니다. 이러한 가격으로는 $0.50로 천 번 이상의 짧은 채팅 턴을 충분히 커버할 수 있으며, 이는 공정한 테스트에 충분합니다.

현재 모델이 거부하는 프롬프트를 실행하고, 답변을 자신의 판단과 비교하며, 거부와 무관한 작업에서의 품질을 확인하십시오. 출력이 견고하다면 API 키 페이지에서 키를 발급받고 $20부터 충전하세요.

더 많은 가이드

• 코딩에 적합한 Abliterated 모델: 확인해야 할 사항
• 무검열 LLM API: 비용 대 제어 분석