Tải xuống Abliterated Models: Nguồn an toàn và Kiểm tra
Tải xuống mô hình abliterated là một tệp nhiều gigabyte từ người lạ, vì vậy vài phút kiểm tra là đáng giá. Trang này liệt kê những gì cần xác minh, định dạng nào an toàn hơn và khi nào dễ dàng hơn để bỏ qua việc tải xuống hoàn toàn.
Cập nhật
Nơi mọi người thường tải xuống
Hầu hết các trọng lượng abliterated được công bố trên Hugging Face, trung tâm công khai chính cho các mô hình trọng số mở, dưới dạng checkpoint độ chính xác đầy đủ hoặc tệp GGUF lượng hóa cho llama.cpp, Ollama và LM Studio. Một số người tải lên cũng chia sẻ các tệp trên torrent hoặc máy chủ tệp. Hãy thận trọng hơn với những tệp đó, vì bạn sẽ mất trang mô hình, lịch sử phiên bản và các bình luận cộng đồng giúp bạn đánh giá một bản phát hành.
Một kho lưu trữ có lịch sử lâu dài, thẻ mô hình rõ ràng và các luồng thảo luận nơi những người khác báo cáo cách nó hoạt động là dấu hiệu tốt hơn một tài khoản mới với một lần tải lên và không có mô tả. Bạn có thể đọc thêm về kỹ thuật này trong bài giải thích của chúng tôi về mô hình đã được loại bỏ kiểm duyệt.
Định dạng tệp quyết định mức độ rủi ro bạn phải chịu
Định dạng quan trọng hơn nhiều người mong đợi.
- safetensors. Lưu trữ các tensor thô và không thể chạy mã khi tải. Đây là lựa chọn an toàn hơn cho các trọng lượng độ chính xác đầy đủ.
- GGUF. Một định dạng cho các trọng lượng lượng hóa được sử dụng bởi llama.cpp và các công cụ được xây dựng dựa trên nó. Nó cũng là dữ liệu, không phải mã thực thi, và nó là lựa chọn thông thường cho trò chuyện cục bộ.
- Các tệp dựa trên Pickle (.bin, .pt, .ckpt). Việc tải các tệp này bằng các công cụ Python phổ biến có thể thực thi mã tùy ý được nhúng trong tệp. Bạn nên tránh chúng từ các nguồn không rõ ràng, hoặc chỉ tải chúng trong môi trường sandbox.
Nếu một kho lưu trữ chỉ cung cấp các tệp pickle và bạn không thể tìm thấy phiên bản safetensors hoặc GGUF, đó là lý do để tìm ở nơi khác. Cũng hãy cẩn thận với bất kỳ kho lưu trữ nào cung cấp một tập lệnh tải Python tùy chỉnh cùng với các trọng lượng. Đọc tập lệnh đó trước khi chạy nó, hoặc không chạy nó.
Danh sách kiểm tra trước khi bạn tải xuống
- Đọc thẻ mô hình. Thẻ đó phải nêu rõ mô hình cơ sở, phương pháp được sử dụng để loại bỏ khả năng từ chối và mức lượng tử hóa. Một thẻ không cung cấp thông tin gì là dấu hiệu cảnh báo.
- Kiểm tra giấy phép. Bản sao đã loại bỏ kiểm duyệt kế thừa các điều khoản của mô hình gốc. Một số giấy phép hạn chế sử dụng thương mại hoặc yêu cầu ghi công. Nếu bạn dự định xây dựng sản phẩm, hãy đọc chúng trước.
- So sánh tên mô hình cơ sở với bản phát hành chính thức. Người tải lên sao chép có thể gắn tên phổ biến vào một tệp khác.
- Xem danh sách tệp và kích thước. Chúng phải khớp với số lượng thông số và lượng hóa. Một tệp Q4 7B có kích thước 400 MB, hoặc một tệp 70B có kích thước 4 GB là sai.
- Tìm kiếm tổng kiểm tra đã công bố và xác minh nó sau khi tải xuống.
- Lướt qua tab cộng đồng để tìm báo cáo về đầu ra bị hỏng, lặp lại hoặc hành vi ẩn.
Tính toán kích thước tải xuống trước
Kích thước tệp xấp xỉ là số tham số x bit trên mỗi trọng số / 8. Đây chỉ là các trọng số, và các tệp thực tế lớn hơn một chút.
| Tham số | 16-bit | 8-bit | 4-bit |
|---|---|---|---|
| 7B | 14 GB | 7 GB | 3,5 GB |
| 13B | 26 GB | 13 GB | 6,5 GB |
| 34B | 68 GB | 34 GB | 17 GB |
| 70B | 140 GB | 70 GB | 35 GB |
Bạn cũng cần dung lượng đĩa trống cho việc tải xuống và, nếu bạn chuyển đổi hoặc lượng hóa riêng, cho các tệp trung gian. Hết dung lượng giữa chừng khi chuyển 70 GB là một phiền toái phổ biến. Bộ nhớ để chạy tệp là một câu hỏi riêng: các trọng lượng phải vừa trong GPU hoặc bộ nhớ thống nhất, với thêm không gian cho bộ nhớ đệm ngữ cảnh.
Xác minh tệp sau khi nó đến
Tải xuống vào một thư mục trống riêng, giữ các tập lệnh của bạn ở nơi khác và kiểm tra băm trước khi tải tệp.
huggingface-cli download some-user/some-repo-GGUF file-Q4_K_M.gguf --local-dir ./incoming
cd incoming
shasum -a 256 file-Q4_K_M.gguf
# compare the output with the checksum shown on the repository pageNếu người tải lên không công bố tổng kiểm tra, băm chỉ chứng minh rằng tệp không bị hỏng trong quá trình truyền tải, không phải là những gì tác giả dự định. Đối với bất kỳ thứ gì bạn dự định dựa vào, hãy ưu tiên những người tải lên có tệp cũng được sao lưu hoặc thảo luận bởi những người khác. Tải các tệp mới đầu tiên trên một máy không truy cập vào dữ liệu nhạy cảm.
Ghi chú những gì bạn đã tải xuống: tên kho lưu trữ, ngày, tên tệp và băm. Khi một bản chỉnh sửa tốt hơn xuất hiện sau một tháng, bạn sẽ muốn so sánh hai kết quả trên cùng các prompt, và bạn sẽ muốn biết chính xác tệp nào bạn đã kiểm tra trước.
Cuối cùng, hãy kiểm tra hành vi. Chạy mười đến hai mươi prompt từ công việc thực tế của bạn và đọc các đầu ra. Một tệp có thể nguyên vẹn nhưng vẫn là một chỉnh sửa kém: các phản hồi không mạch lạc, lặp lại liên tục hoặc từ chối chưa được loại bỏ hoàn toàn.
Các dấu hiệu cảnh báo khiến bạn nên dừng lại
Một số tín hiệu đủ để bạn bỏ đi mà không cần phân tích thêm.
- Kho lưu trữ yêu cầu bạn tắt quét bảo mật, chạy trình cài đặt hoặc dán lệnh vào terminal với quyền root.
- Liên kết tải xuống trỏ đến một máy chủ tệp không phải là trang kho lưu trữ, hoặc trang cho bạn biết tắt trình diệt virus của bạn.
- Thẻ mô hình hứa hẹn "100% không kiểm duyệt, không mất mát" hoặc bất kỳ tuyên bố nào khác không thể đúng với việc chỉnh sửa trọng số. Mọi lần chỉnh sửa đều có sự đánh đổi, và các thẻ trung thực sẽ nói rõ điều đó.
- Tải lại của một bản phát hành đã biết dưới một tên mới, với kích thước tệp khác với bản gốc.
- Không có văn bản giấy phép nào cả, cho một mô hình cơ sở được biết là có một giấy phép.
Ngay cả với các tín hiệu sạch, hãy chạy các tệp mới với quyền truy cập ít nhất bạn có thể cấp cho chúng. Một tệp GGUF được mở bởi một phiên bản hiện tại của thời gian chạy chính thống mang lại ít rủi ro thực thi mã, nhưng thời gian chạy đã có lỗi, vì vậy hãy giữ chúng cập nhật. Nếu có gì đó trông sai, hãy xóa tệp và chọn một nguồn khác. Tải lại tốn vài phút; khôi phục từ một tệp xấu trên một máy chứa công việc của bạn thì không.
Khi một endpoint được lưu trữ giúp bạn tiết kiệm thời gian
Việc tải xuống có ý nghĩa khi bạn muốn sử dụng ngoại tuyến, kiểm soát hoàn toàn quá trình lượng tử hóa, hoặc bạn dự định hợp nhất và thử nghiệm. Nếu bạn chỉ muốn một mô hình trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp, một API được lưu trữ sẽ giúp bạn tiết kiệm việc tải xuống, lưu trữ, xác minh và lập kế hoạch bộ nhớ.
Dịch vụ này phục vụ một mô hình trọng số mở duy nhất, chạy bởi một nhà cung cấp độc lập, dưới ID uncensored. Nó không phải là bản sao của bất kỳ API chính thức của nhà cung cấp nào. Bạn gọi nó như OpenAI:
from openai import OpenAI
client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "List five checks for a downloaded file."}],
)
print(r.choices[0].message.content)Cửa sổ ngữ cảnh là 100.000 token. Truyền phát, gọi hàm và chế độ JSON được hỗ trợ, và các prompt không được sử dụng để huấn luyện. Các tham số và giới hạn có trên trang tài liệu.
Chi phí API so với tải xuống
Không có chi phí tải xuống, nhưng bạn trả tiền theo token: $0,15 cho mỗi 1 triệu token đầu vào và $0,50 cho mỗi 1 triệu token đầu ra. Một yêu cầu với 4.000 token đầu vào và 800 token đầu ra tốn 4.000 / 1.000.000 x $0,15 = $0,0006 cộng với 800 / 1.000.000 x $0,50 = $0,0004, tức là $0,001. Một nghìn yêu cầu như vậy tốn $1.
Số tiền nạp tối thiểu là $20, với +5% từ $50, +10% từ $100 và +15% từ $200. Thanh toán bằng tiền mã hóa. Xem giá cả để biết chi tiết. Để kiểm tra mà không cần thanh toán, nhận tín dụng dùng thử $0,50 trên trang khóa API sau khi đăng ký; nó có hiệu lực trong 7 ngày. Đối với việc sử dụng cụ thể cho lập trình, trang về các mô hình đã loại bỏ kiểm duyệt cho lập trình so sánh những điều cần tìm.
Hướng dẫn khác
Hỏi đáp
Có an toàn khi tải xuống các mô hình đã được abliterated không?
Nó có thể an toàn nếu bạn chọn file safetensors hoặc GGUF, đọc mô tả mô hình, kiểm tra giấy phép và xác minh hash. Tránh các file dựa trên pickle từ những người tải lên không rõ nguồn gốc.
Các mô hình abliterated được công bố ở đâu?
Chủ yếu trên Hugging Face, thường dưới dạng checkpoint safetensors hoặc lượng tử hóa GGUF. Ưu tiên các kho lưu trữ có mô tả rõ ràng và thảo luận tích cực.
File có kích thước bao nhiêu?
Khoảng số tham số nhân với số bit trên mỗi trọng số chia cho 8. Một mô hình 7B có kích thước khoảng 3,5 GB ở chế độ 4-bit và 14 GB ở chế độ 16-bit.
Tôi có thể sử dụng mô hình abliterated mà không cần tải xuống không?
Có. Một API tương thích OpenAI được lưu trữ cung cấp cho bạn một mô hình không từ chối nội dung cho mục đích người lớn hợp pháp, mà không cần file cục bộ.
Khóa của bạn chỉ cách một biểu mẫu
Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.
