코딩용 Abliterated 모델: 선택 기준

거절이 제거된 후 코딩 모델을 좋게 만드는 요소

거절하지 않는 모델을 만드는 것은 쉽습니다. 거절하지 않으면서도 정확한 코드를 작성하는 모델은 더 어렵습니다. 거절을 제거하는 수정으로 인해 모델의 다른 기능이 약해질 수 있기 때문입니다. 따라서 유용한 질문은 "이름 목록 중 가장 긴 것은 무엇인가"가 아니라 "어떤 빌드가 기본 모델의 코딩 능력을 그대로 유지하는가"입니다.

중요도 순으로 확인해야 할 네 가지 항목이 있습니다:

1. 작업 정확도. 코드가 실행되고, 테스트를 통과하며, 코딩 컨벤션을 따릅니까?
2. 명령 따르기. diff만 요청하면 diff만 제공합니까? 지정한 언어 버전과 라이브러리를 준수합니까?
3. 컨텍스트 처리. 여러 큰 파일을 동시에 읽고 함수 이름을 추적할 수 있습니까?
4. 실제 전송 프롬프트에 대한 거부율. abliterated 모델을 살펴봐야 하는 이유입니다. 직접 측정하세요.

프롬프트를 표시하지 않고 단일 점수로 모델을 순위 매기는 페이지에 주의하세요. 리더보드는 다른 사람의 워크로드에 대한 정보를 제공합니다.

거절이 개발자에게 미치는 영향

대부분의 코딩 요청은 필터를 트리거하지 않습니다. 트리거되는 요청은 공통된 패턴을 공유합니다: 코드는 중립적이지만 주제가 위험해 보인다는 것입니다.

• 보안 테스트. 포트 스캐너, 퍼저, 패치 중인 취약점에 대한 개념 증명 익스플로잇 또는 자신의 서버의 약한 비밀번호를 확인하는 스크립트.
• 리버스 엔지니어링. 디스어셈블리 설명, 자신의 컴퓨터에서 찾은 난독화 스크립트 풀기 또는 파일 형식 분석.
• 스크래핑 및 자동화. 세션 로테이션, 봇을 꺼리는 사이트 파싱, 정당한 작업을 위한 대량 양식 채우기.
• 멀웨어 분석. 탐지 규칙을 작성하기 위해 샘플을 읽는 것은 줄별로 그것이 무엇을 하는지 논의하는 것을 의미합니다.
• 민감한 텍스트용 데이터 도구. 유해한 콘텐츠용 분류기나 테스트 픽스처 구축 시, 테스트 데이터 자체가 이상해 보이는 경우.
• 게임 및 픽션 도구. 다크 테마를 가진 성인 대상 스토리의 대화, 퀘스트 텍스트 또는 캐릭터 시트를 생성합니다.

각 경우 거부로 인해 호출이 낭비되고, 윤리에 대한 정중한 강연으로 인해 여러분이 비용을 내는 토큰이 낭비됩니다. 그런 거부가 없는 모델은 재시도와 재작성을 절약해 줍니다. 그런 모델을 원할 이유는 되지만, 생각을 멈출 이유는 아닙니다. 직접 구축하고 실행하는 것에 대한 책임은 여전히 여러분에게 있습니다. 이 서비스는 합법적인 성인 용도입니다.

이 API가 제공하는 것

여기서는 카탈로그에서 선택하지 않습니다. 이 API는 독립적인 공급자가 실행하고 콘텐츠 거부 없이 답변하도록 조정된 단일 오픈 웨이트 모델을 제공합니다. 이는 어떤 모델 벤더의 공식 API가 아니며, 여러 모델 간 라우터도 아닙니다. 무검열 코딩 모델을 찾는 결과가 전환하고 싶은 긴 후보 목록으로 끝나면, 이는 그런 종류의 서비스가 아닙니다. 만약 "OpenAI 스타일 엔드포인트 뒤에 필터 없는 하나의 유능한 모델"로 끝나면, 이것이 바로 그 서비스입니다.

개발자에게 중요한 사실:

• 프롬프트와 완성을 위한 100,000개의 토큰 컨텍스트 창. 여러 소스 파일과 긴 대화에 충분합니다.
• SSE를 통한 스트리밍, 함수 호출, JSON 모드 모두 OpenAI 형식으로 제공됩니다.
• temperature, top_p, stop, seed 및 패널티가 전달됩니다.
• 전체 키는 8개의 동시 요청 및 분당 300개의 요청을 허용합니다.
• 텍스트 전용. 임베딩, 이미지 생성, 파인튜닝 없음.

문서에는 모든 매개변수 및 응답 헤더가 나열됩니다.

10분 만에 코딩 테스트 실행

이미 완료한 작업에서 작은 테스트 세트를 구축하세요: 이미 해결한 버그, 테스트가 있는 함수, 호스팅된 정렬된 모델이 거부한 프롬프트 등 알려진 정답이 있는 5~10개의 작업입니다. 그런 다음 낮은 temperature로 엔드포인트에 모두 실행하여 결과를 반복 가능하게 만드세요.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.abliteratedmodels.cc/v1",
    api_key="YOUR_KEY",
)

SYSTEM = (
    "You are a senior engineer. Reply with code only, in one fenced block, "
    "then at most three lines of notes."
)

tasks = [
    "Write a Python function that parses a CIDR string and lists usable hosts.",
    "Write a Bash one-liner that finds open ports on 192.168.1.10 using only /dev/tcp.",
    "Explain what this regex does and where it backtracks badly: ^(a+)+$",
]

for prompt in tasks:
    r = client.chat.completions.create(
        model="uncensored",
        temperature=0.2,
        seed=7,
        messages=[
            {"role": "system", "content": SYSTEM},
            {"role": "user", "content": prompt},
        ],
    )
    print("=" * 60)
    print(prompt)
    print(r.choices[0].message.content)
    print("tokens:", r.usage.prompt_tokens, r.usage.completion_tokens)

다른 항목과 비교할 때 동일한 프롬프트와 시드를 유지하세요. 각 답변은 읽는 것이 아니라 실행하여 점수를 매기세요. 텍스트만 보면 확신에 찬 잘못된 답변이 이깁니다.

편집기 및 에이전트에서 사용

엔드포인트가 OpenAI 프로토콜을 사용하므로 대부분의 코딩 도구는 플러그인 없이 이를 사용할 수 있습니다. Cline이나 Continue와 같은 사용자 지정 OpenAI 호환 공급자를 허용하는 편집기 및 에이전트에서 base URL을 https://api.abliteratedmodels.cc/v1로 설정하고, 키를 붙여넣은 후 모델 이름으로 uncensored를 입력하세요. 릴리스 간에 변경되므로 각 도구의 자체 설정 페이지에서 정확한 필드 이름을 확인하세요.

aider 명령줄 어시스턴트의 경우 환경 변수를 통해 엔드포인트를 설정하고 모델 앞에 openai/ 접두사를 붙이세요:

Copyexport OPENAI_API_BASE=https://api.abliteratedmodels.cc/v1
export OPENAI_API_KEY=YOUR_KEY
aider --model openai/uncensored

에이전트 루프와 관련하여 두 가지 설정이 도움이 됩니다. 동시 요청이 8 이하로 유지되도록 하세요. 9번째 동시 요청은 오류 코드 concurrency와 함께 HTTP 429를 반환합니다. 스트리밍 요청은 스트림이 끝날 때까지 동시 요청 슬롯을 유지하므로, 한 도구의 스트림이 멈추면 다른 도구가 슬롯을 얻지 못할 수 있습니다.

코드 품질을 높이는 프롬팅 습관

선택한 모델에 관계없이 요청하는 방식이 결과의 대부분을 결정합니다. 모델이 거절을 멈추면 모든 요청, 지정이 잘못된 요청까지 답변하려고 시도하므로 이러한 습관이 더 중요해집니다.

• 언어와 버전을 명시하세요. "Python 3.11, 표준 라이브러리만 사용"이라는 문구는 잘못된 import 문의 한 부류를 통째로 없애 줍니다.
• 먼저 인터페이스를 제공하세요. 함수 시그니처, 타입 및 예제 호출을 붙여넣으세요. 모델이 자기만의 구조를 만들어 내는 대신 여러분의 코드에 맞춰 답변합니다.
• diff 또는 단일 파일을 요청하세요. 개방형 요청은 출력 토큰에 대해 백만 토큰당 $0.50에 결제하는 긴 답변을 생성합니다.
• 코드는 낮은 온도를 사용하세요. 0과 0.3 사이의 값은 더 안정적인 출력을 제공합니다. 결과를 재현하려면 seed을 추가하세요.
• stop 시퀀스를 사용하세요. 코드 블록만 원한다면 닫는 펜스에서 중단하여 모델이 코멘트를 추가하지 않도록 하세요.
• 실패한 출력을 보내세요. 버그의 경우 traceback과 그것이 가리키는 줄을 포함하세요. 이는 어떤 설명보다 낫습니다.

역할과 출력 형식을 명시하는 짧은 시스템 메시지는 위의 테스트 스크립트에서 보는 것처럼 긴 메시지보다 더 많은 일을 합니다. 시스템 메시지는 모든 요청에서 입력으로 청구되므로 간결성은 긴 세션 동안에도 돈을 절약합니다.

병합 전에 답변 확인

거절이 없는 모델은 정렬된 모델만큼 자신감 있는 버그를 작성할 수 있습니다. 테스트를 실행하세요. diff를 읽으세요. 시크릿, 권한, 파일 삭제 또는 네트워크 접근에 영향을 미치는 코드의 경우 두 번 검토하고 먼저 샌드박스 또는 임시 컨테이너에서 실행하세요. 토큰 비용은 어쨌든 지불합니다. 검토가 시스템을 보호합니다.

코딩 작업 비용

가격은 토큰 100만 개당 입력 $0.15, 출력 $0.50이며 선불 크레딧에서 청구됩니다. 코딩 작업은 입력이 많으므로 코드를 보내고 더 작은 변경 사항을 받으며 이는 이 가격 구조에 적합합니다. 계산 예시:

작업	입력 토큰	출력 토큰	비용
8,000토큰 파일 검토	8,000	1,000	$0.0012 + $0.0005 = $0.0017
600토큰 함수 생성	1,500	600	$0.000225 + $0.0003 = $0.000525
전체 100,000토큰 창을 가득 채우고, 응답 2,000토큰	98,000	2,000	$0.0147 + $0.001 = $0.0157

매번 50,000토큰 컨텍스트로 20번 호출하는 에이전트는 총 1,000,000개의 입력 토큰을 전송하며, 이는 $0.15이며, 여기에 출력 토큰 약 10,000개($0.005)가 추가됩니다. 전체 세션은 약 $0.155에 도달합니다. 첫 번째 행의 크기로 1,000개의 파일 검토는 $1.70이 듭니다. 실험 비용은 작지만, 결과를 확인하는 데 소비하는 시간이 중요합니다. 실패하거나 거부된 요청은 청구되지 않습니다.

$20부터 $500까지의 충전 금액과 $50, $100, $200에서의 보너스를 포함한 전체 세부 사항은 가격 책정 페이지에서 확인하세요.

도입을 결정하기 전에 알아야 할 제한 사항

무검열 모델의 용도에 대해 솔직하게 생각하세요. 이 모델은 베이스 모델보다 더 나은 프로그래머가 되지 않으며, 거부가 적은 모델은 지나치게 적극적일 수 있습니다. 즉, 보안에 취약한 코드를 생성하거나 잘못된 가정 하에 실행할 수 있습니다. 인증, 파일 삭제 또는 자금과 관련된 모든 부분을 포함하여 주니어 동료의 코드처럼 생성된 코드를 검토하세요.

서비스 제한도 계획에 포함하세요. 8 MB보다 큰 본문은 거부되며, 체험용 키는 동시 요청이 2개로 제한되고 분당 60개로 제한됩니다. 이는 테스트에는 충분하지만 배치 작업에는 충분하지 않습니다. HTTP 429 상태와 Retry-After: 5 헤더를 보게 되면 제공업체가 일시적으로 과부하 상태입니다. 기다렸다가 다시 시도하세요. 무검열 LLM API 비용 및 제어 관련 페이지에서는 이것이 호스팅된 정렬된 대안과 어떻게 비교되는지 설명합니다.

사용해 보려면 가입 후 API 키 페이지에서 $0.50 체험 크레딧을 받으세요. 카드는 필요 없으며, 7일 동안 유효하고 1인당 1회로 제한됩니다.

더 많은 가이드

• Abliterated Model이란 무엇인가? 평이한 설명
• 무검열 LLM API: 비용 대 제어 분석