Abliterated Models 다운로드: 안전한 소스 및 확인

사람들이 일반적으로 다운로드하는 곳

대부분의 abliterated 가중치는 오픈 웨이트 모델의 주요 공개 허브인 Hugging Face에 전체 정밀도 체크포인트 또는 llama.cpp, Ollama 및 LM Studio용 양자화된 GGUF 파일로 게시됩니다. 일부 업로더는 토렌트나 파일 호스트에도 파일을 공유합니다. 릴리스를 판단하는 데 도움이 되는 모델 페이지, 버전 기록 및 커뮤니티 댓글을 잃기 때문에 이러한 파일을 더 신중하게 다루세요.

긴 기록, 명확한 모델 카드 및 다른 사람들이 그 동작을 보고하는 토론 스레드가 있는 저장소는 설명 없이 하나의 업로드만 있는 새 계정보다 더 좋은 신호입니다. abliterated된 모델이 무엇인지에서 기법에 대해 더 자세히 읽을 수 있습니다.

파일 형식은 위험도를 결정합니다

형식은 대부분의 사람들이 예상하는 것보다 더 중요합니다.

• safetensors. 일반 텐서를 저장하며 로드 시 코드를 실행할 수 없습니다. 이는 전체 정밀도 가중치에 대한 더 안전한 선택입니다.
• GGUF. llama.cpp 및 이를 기반으로 한 도구에서 사용하는 양자화된 가중치 형식입니다. 실행 가능한 코드가 아닌 데이터이며 로컬 채팅에 일반적으로 사용됩니다.
• Pickle 기반 파일(.bin, .pt, .ckpt). 일반적인 Python 도구로 이러한 파일을 로드하면 파일에 내장된 임의 코드가 실행될 수 있습니다. 알려지지 않은 소스의 파일은 피하거나, 샌드박스에서만 로드하세요.

저장소가 pickle 파일만 제공하고 safetensors 또는 GGUF 버전을 찾을 수 없다면 다른 곳을 찾아야 합니다. 또한 가중치와 함께 사용자 정의 Python 로더 스크립트를 제공하는 저장소에도 주의하세요. 실행하기 전에 스크립트를 읽거나 실행하지 마세요.

다운로드 전 체크리스트

1. 모델 카드를 읽으십시오. 기본 모델, 거부 제거 방법 및 양자화 수준을 명시해야 합니다. 아무것도 말하지 않는 카드는 경고 신호입니다.
2. 라이선스를 확인하세요. abliterated 사본은 베이스 모델의 조건을 상속합니다. 일부 라이선스는 상업적 사용을 제한하거나 귀속을 요구합니다. 제품을 구축할 계획이라면 먼저 읽어보세요.
3. 베이스 모델 이름을 비교하세요. 공식 릴리스와 비교하세요. 카피캣 업로더는 인기 있는 이름을 다른 파일에 붙일 수 있습니다.
4. 파일 목록과 크기를 살펴보세요. 매개변수 수 및 양자화와 일치해야 합니다. 7B Q4 파일이 400 MB이거나 70B 파일이 4 GB라면 잘못된 것입니다.
5. 공개된 체크섬을 찾으세요. 다운로드 후 검증하세요.
6. 커뮤니티 탭을 살펴보세요. 깨진 출력, 반복 또는 숨겨진 동작에 대한 보고를 확인하세요.

먼저 다운로드 크기를 계산하세요

대략적인 파일 크기는 매개변수 × 가중치당 비트 ÷ 8입니다. 이는 가중치만 포함하며 실제 파일은 약간 더 큽니다.

매개변수	16비트	8비트	4비트
7B	14GB	7GB	3.5GB
13B	26GB	13GB	6.5GB
34B	68GB	34GB	17GB
70B	140GB	70GB	35GB

또한 다운로드 및 직접 변환 또는 양자화를 위한 중간 파일을 위한 여유 디스크 공간이 필요합니다. 70GB 복사 중반에 공간이 부족해지는 것은 흔한 불만입니다. 파일을 실행하기 위한 메모리는 별개의 고려 사항입니다. 가중치는 GPU 또는 통합 메모리에 맞아야 하며 컨텍스트 캐시를 위한 추가 공간이 필요합니다.

파일이 도착한 후 검증하세요

빈 폴더에 다운로드하고 스크립트는 다른 곳에 보관한 후 파일을 로드하기 전에 해시를 확인하세요.

Copyhuggingface-cli download some-user/some-repo-GGUF file-Q4_K_M.gguf --local-dir ./incoming
cd incoming
shasum -a 256 file-Q4_K_M.gguf
# compare the output with the checksum shown on the repository page

업로더가 체크섬을 게시하지 않으면 해시는 파일이 전송 중 손상되지 않았다는 것만 증명할 뿐, 저자가 의도한 파일이라는 것을 증명하지 않습니다. 의존할 계획이 있는 파일의 경우 다른 사람들에 의해 미러링되거나 논의되는 업로더를 선호하세요. 민감한 데이터에 접근할 수 없는 기계에서 새 파일을 먼저 로드하세요.

다운로드한 내용을 메모하세요: 저장소 이름, 날짜, 파일 이름 및 해시. 한 달 후 더 나은 편집이 나타나면 동일한 프롬프트에서 두 가지를 비교하고 처음 테스트한 파일이 무엇인지 정확히 알고 싶을 것입니다.

마지막으로 동작을 테스트하세요. 실제 작업에서 10~20개의 프롬프트를 실행하고 출력을 읽어보세요. 파일이 완전해도 편집 결과가 나쁠 수 있습니다: 일관성 없는 응답, 지속적인 반복 또는 완전히 제거되지 않은 거부.

주의해야 할 경고 신호

일부 신호는 추가 분석 없이도 떠날 수 있을 만큼 충분합니다.

• 저장소는 보안 스캔 비활성화, 설치 프로그램 실행 또는 루트로 터미널에 명령어 붙여넣기를 요청합니다.
• 다운로드 링크가 저장소 페이지가 아닌 파일 호스트를 가리키거나 페이지에서 안티바이러스를 비활성화하라고 합니다.
• 모델 카드는 "100% 무검열, 손실 없음" 또는 가중치 편집에 대해 참일 수 없는 기타 주장을 약속합니다. 모든 편집에는 트레이드오프가 있으며 정직한 카드는 이를 명시합니다.
• 알려진 릴리스의 새 이름으로 다시 업로드되었으며 원래 파일과 다른 파일 크기를 가집니다.
• 베이스 모델에 라이선스가 있는 것으로 알려져 있음에도 라이선스 텍스트가 전혀 없습니다.

깨끗한 신호가 있더라도 새 파일을 최소한의 접근 권한으로 실행하세요. 최신 버전의 주요 런타임으로 열린 GGUF는 코드 실행 위험이 거의 없지만 런타임에는 버그가 있었으므로 업데이트를 유지하세요. 이상한 것이 보이면 파일을 삭제하고 다른 소스를 선택하세요. 다시 다운로드하는 데는 몇 분밖에 걸리지 않지만, 작업이 있는 기계에서 잘못된 파일로 인한 문제를 복구하는 데는 시간이 더 걸립니다.

호스팅 엔드포인트가 시간을 절약하는 경우

오프라인 사용, 양자화에 대한 완전한 제어 또는 병합 및 실험을 계획할 때 다운로드가 의미가 있습니다. 콘텐츠 거부 없이 합법적인 성인 사용에 답변하는 모델만 원한다면 호스팅 API는 다운로드, 저장소, 검증 및 메모리 계획의 노력을 절약해 줍니다.

이 서비스는 독립적인 공급자가 실행하는 하나의 오픈 웨이트 모델을 uncensored ID로 제공합니다. 이는 어떤 벤더의 공식 API도 미러링한 것이 아닙니다. OpenAI처럼 호출합니다:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "List five checks for a downloaded file."}],
)
print(r.choices[0].message.content)

컨텍스트 창은 100,000 토큰입니다. 스트리밍, 도구 호출 및 JSON 모드가 지원되며 프롬프트는 학습에 사용되지 않습니다. 매개변수 및 제한은 문서 페이지에 있습니다.

다운로드 대비 API 비용

다운로드 비용은 없지만 토큰당 비용을 지불합니다: 입력 100만 토큰당 $0.15, 출력 100만 토큰당 $0.50. 입력 토큰 4,000개와 출력 토큰 800개로 구성된 요청은 4,000 / 1,000,000 x $0.15 = $0.0006 + 800 / 1,000,000 x $0.50 = $0.0004로 $0.001이 듭니다. 천 개의 요청은 $1이 듭니다.

최소 충전 금액은 $20이며, $50부터 +5%, $100부터 +10%, $200부터 +15%가 추가됩니다. 암호화폐로 결제하세요. 자세한 내용은 가격을 참조하세요. 결제 없이 테스트하려면 가입 후 API 키 페이지에서 $0.50 체험판 청구를 하세요. 7일 동안 유효합니다. 코딩 사용의 경우 코딩용 abliterated 모델 페이지에서 확인할 사항을 비교합니다.

더 많은 가이드

• Abliterated 모델 실행 방법: 로컬, 클라우드 또는 API
• 코딩을 위한 Abliterated Models 선택: 확인해야 할 사항