Abliterated 모델 실행 방법: 로컬, 클라우드 또는 API

먼저 경로를 선택하세요

	로컬	임대 클라우드 GPU	호스팅 API
선불 비용	이미 보유하고 있을 수 있는 하드웨어	없음	없음
설정 시간	하루 저녁	하루 저녁, 원격 서버 관리 추가	분
지속 비용	전기 요금	머신이 실행되는 동안 시간당	토큰당
필요한 기술	중간	중간에서 높음	낮음
개인정보	가장 높음	호스트에 따라 다름	서버 측; 프롬프트는 학습에 사용되지 않음

합법적인 성인 요청을 거부하지 않는 모델에서 답변만 얻고 싶다면 API가 가장 빠른 경로입니다. 가중치를 실험하거나 모델을 병합하거나 오프라인에서 실행하려면 로컬로 가세요. 클라우드 GPU 옵션은 몇 시간 동안 큰 모델이 필요하지만 하드웨어를 구매하고 싶지 않은 사람에게 적합합니다.

경로 1: 로컬에서 실행

런타임이 로드할 수 있는 형식의 가중치와 충분한 메모리가 필요합니다. 가장 일반적인 설정은 llama.cpp 또는 이를 기반으로 한 도구(Ollama 또는 LM Studio 포함)와 함께 GGUF 파일을 사용하는 것입니다.

1. 메모리를 추정하세요. 가중치는 대략 파라미터 x 비트 / 8만큼을 차지합니다. 4비트 14B 모델은 약 7GB입니다. 컨텍스트 캐시를 위해 몇 기바를 더 추가하세요.
2. 신뢰할 수 있는 소스에서 양자화된 파일을 다운로드하세요. 블리버레이션 모델이 무엇인지 페이지는 이러한 파일의 내용을 설명합니다.
3. 서버 시작. llama.cpp의 명령어는 다음과 같습니다.
4. 앱을 연결합니다. 서버는 OpenAI 스타일의 엔드포인트를 노출하므로 호환되는 클라이언트는 모두 연결할 수 있습니다.

Copyllama-server -m ./weights-Q4_K_M.gguf -c 8192 -ngl 99 --port 8080

여기서 -c는 컨텍스트 길이를 설정하고, -ngl 99은 메모리가 충분하면 모든 레이어를 GPU로 오프로드합니다. 메모리가 부족하면 -ngl 값을 낮추고, 레이어가 CPU에 남아 있을 때 출력이 느려질 것으로 예상됩니다.

일반적인 로컬 환경의 문제는 쉽게 파악할 수 있습니다. 메모리 부족 메시지와 함께 로딩이 실패하면 양자화 수준을 낮추거나 컨텍스트 길이를 줄이세요. 캐시는 컨텍스트 길이에 따라 크기가 변합니다. 출력이 매우 느리면 일부 레이어가 CPU에서 실행 중이므로 오프로드된 레이어 수를 확인하세요. 응답이 반복되면 온도를 약간 낮추고 반복 패널티를 높여야 합니다. 모델이 이상한 형식으로 응답하면 채팅 템플릿이 모델이 기대하는 것과 일치하지 않을 수 있으며, 대부분의 런타임에서는 이를 명시적으로 설정할 수 있습니다.

로컬 실행은 프라이버시와 오프라인 사용이 중요하거나, 이미 16GB 이상의 메모리가 있는 그래픽 카드를 보유하고 있을 때 가장 적합합니다.

경로 2: 클라우드에서 GPU 임대

임대 서비스는 큰 GPU가 장착된 머신을 시작하고 시간당 요금을 지불하게 합니다. 단계는 로컬 경로와 동일하지만, 원격 머신에서 SSH를 통해 수행해야 하며, 사용 중에는 머신을 계속 실행해야 합니다. 이 부분이 중요합니다: 유휴 상태에서도 요금이 발생하므로 작업이 끝나면 중지하세요.

일반적인 임대 세션은 다음과 같이 진행됩니다. 모델에 충분한 GPU 메모리가 있는 머신을 선택하고, 이미 드라이버가 설치된 사전 빌드 이미지에서 시작합니다. 가중치를 복사하거나 다운로드한 후 서버를 실행하고, 포트가 공개되지 않도록 SSH 터널을 통해 연결합니다. 다운로드에만 20~30분을 계획하세요. 큰 파일의 경우 이 시간이 소요되며, 일반적으로 이 시간 동안 요금이 청구됩니다. 한 번 스크립트를 작성해 두면 다음 세션이 빠르게 시작됩니다.

공급업체 사이트에서 현재 시간당 가격을 확인하세요. 가격은 자주 변경됩니다. 일회성 작업(예: 대량의 문서를 처리하는 큰 모델 실행)에는 임대 방식이 적합합니다. 하루에 몇 번만 사용하는 채팅에는 적합하지 않습니다. 세션 간에도 요금이 계속 발생하며, 가중치를 위한 영구 저장 볼륨은 종종 별도로 청구됩니다.

보안은 사용자 책임입니다. 인증 없이 모델 서버를 인터넷에 공개하면, 포트를 발견한 누구나 GPU 시간을 사용할 수 있습니다.

경로 3: 호스팅 API 호출

이 서비스는 독립적인 제공자가 운영하며 합법적인 성인용으로 콘텐츠 거부를 하지 않도록 답변하도록 조정된 단일 오픈 웨이트 모델을 제공합니다. 모델 ID는 uncensored입니다. 이 서비스는 특정 모델 벤더의 공식 API가 아니며, 여러 모델을 라우팅하는 라우터도 아닙니다. Base URL은 https://api.abliteratedmodels.cc/v1입니다.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a candid technical assistant."},
        {"role": "user", "content": "Explain TCP slow start in five sentences."},
    ],
    temperature=0.7,
)
print(resp.choices[0].message.content)

curl을 사용한 동일한 요청:

Copycurl https://api.abliteratedmodels.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}],"stream":false}'

스트리밍, 함수 호출 및 JSON 모드는 OpenAI API와 동일하게 작동합니다. 자세한 내용은 문서에서 확인하세요.

각 경로의 비용 및 API 계산

로컬 및 임대 비용은 직접 확인해야 하는 가격에 따라 달라집니다. API 비용은 계산하기 쉽습니다. 요금은 입력 토큰 1M당 $0.15, 출력 토큰 1M당 $0.50입니다.

컨텍스트 8,000토큰과 600토큰 답변이 포함된 코드 어시스턴트 요청의 경우 입력 비용은 8,000 / 1,000,000 x $0.15 = $0.0012, 출력 비용은 600 / 1,000,000 x $0.50 = $0.0003입니다. 요청당 총 $0.0015입니다. 하루 100회, 30일 동안 3,000회 요청 시 월 $4.50입니다.

최소 충전 금액은 $20이며, 이는 4개월 이상의 사용량을 커버할 수 있고 크레딧은 만료되지 않습니다. 보너스는 $50부터 적용됩니다: +5%, 그 다음 $100부터 +10%, $200부터 +15%입니다. 암호화폐(TRC20 USDT, Base USDC)로 결제할 수 있습니다. 표는 가격 책정 페이지를 참조하세요.

코딩에 잘 작동하는 모델은 무엇인가요?

목표가 코딩이라면 모델 크기 및 학습 데이터가 블리버레이션 단계보다 중요합니다. 더 큰 모델은 더 신뢰할 수 있는 코드를 생성하며 로컬에서 더 많은 메모리가 필요합니다. 코딩용 최고의 블리버레이션 모델 비교 페이지에서 확인해야 할 항목을 확인하세요. 후보를 테스트할 때 실제 작업의 버그 수정, 짧은 함수, 리팩토링, 낯선 코드 설명 등 5~6개의 동일한 작업을 각 모델에 제공하세요. 마케팅이 아닌 결과를 비교하세요.

호스팅 옵션은 기준선으로 유용합니다. 먼저 API로 작업 세트를 실행한 후, 예산에 맞는 로컬 모델이 이를 충족하는지 확인하세요.

가장 저렴한 테스트로 시작하세요

하드웨어 구매나 머신 임대 전에 API를 몇 분간 사용해 보세요. Google 또는 이메일과 비밀번호로 로그인한 후 API 키 페이지에서 트라이얼을 청구하세요. 금액은 $0.50이며, 7일 동안 유효하고, 사람당 하나이며, 카드가 필요하지 않습니다. 요청당 $0.0015이므로 300회 이상의 요청이 가능합니다.

체험용 키는 동시 요청 2개와 분당 60개의 요청을 허용합니다. 일반 키는 동시 요청 8개와 분당 300개의 요청을 허용합니다. 한도를 초과하면 HTTP 429 응답과 함께 rate_limited 또는 concurrency 오류가 발생하며, 일시적 과부하 시에는 Retry-After: 5 헤더가 포함된 429 응답이 반환됩니다. 거부 기능이 없는 모델에 대해 더 자세히 알고 싶다면 필터 없는 AI 모델 페이지를 읽어보세요.

API는 텍스트 전용이며, 명확한 규칙이 하나 있습니다: 미성년자가 관련된 성 콘텐츠는 허용되지 않습니다.

더 많은 가이드

• Abliterated Models 다운로드: 안전한 소스 및 확인
• 코딩을 위한 Abliterated Models 선택: 확인해야 할 사항