Cách chạy Abliterated Models: Local, Cloud hoặc API

Chọn một tuyến đường trước

	Cục bộ	GPU đám mây thuê	API được lưu trữ
Chi phí ban đầu	Phần cứng bạn có thể đã sở hữu	Không	Không
Thời gian thiết lập	Một buổi tối	Một buổi tối, cộng chăm sóc máy chủ từ xa	Vài phút
Chi phí liên tục	Điện năng	Theo giờ trong khi máy chạy	Theo token
Kỹ năng cần thiết	Trung bình	Trung bình đến cao	Thấp
Quyền riêng tư	Cao nhất	Tùy thuộc vào nhà cung cấp	Phía máy chủ; prompt không được dùng để huấn luyện

Nếu bạn chỉ muốn câu trả lời từ một mô hình không từ chối các yêu cầu người trưởng thành hợp pháp, API là con đường ngắn nhất. Nếu bạn muốn thử nghiệm với trọng số, hợp nhất mô hình hoặc chạy offline, hãy chọn local. Tùy chọn GPU đám mây phù hợp với những người cần một mô hình lớn trong vài giờ và không muốn mua phần cứng.

Tuyến 1: chạy nó trên local

Bạn cần trọng số ở định dạng mà runtime của bạn tải, và đủ bộ nhớ. Cấu hình phổ biến nhất là tệp GGUF với llama.cpp hoặc một công cụ dựa trên nó, như Ollama hoặc LM Studio.

1. Ước tính bộ nhớ. Trọng số chiếm khoảng số tham số x bit mỗi trọng số / 8. Mô hình 14B ở mức 4-bit chiếm khoảng 7 GB. Thêm vài gigabyte cho bộ nhớ đệm ngữ cảnh.
2. Tải tệp lượng tử hóa từ nguồn bạn tin tưởng. Trang về mô hình đã loại bỏ kiểm duyệt là gì giải thích nội dung các tệp này.
3. Khởi động máy chủ. Với llama.cpp, lệnh trông như bên dưới.
4. Trỏ ứng dụng của bạn vào nó. Máy chủ cung cấp một endpoint kiểu OpenAI, nên bất kỳ client tương thích nào cũng có thể kết nối.

Copyllama-server -m ./weights-Q4_K_M.gguf -c 8192 -ngl 99 --port 8080

Ở đây -c đặt độ dài ngữ cảnh và -ngl 99 tải tất cả các lớp lên GPU nếu chúng vừa bộ nhớ. Giảm -ngl nếu bạn hết bộ nhớ, và mong đợi đầu ra chậm hơn khi các lớp vẫn ở trên CPU.

Các vấn đề cục bộ phổ biến rất dễ nhận biết. Nếu quá trình tải thất bại với thông báo hết bộ nhớ, hãy chọn mức lượng tử hóa nhỏ hơn hoặc giảm độ dài ngữ cảnh, vì bộ nhớ đệm tăng theo nó. Nếu đầu ra chậm đến khó chịu, một số lớp đang chạy trên CPU, hãy kiểm tra xem có bao nhiêu lớp được offload. Nếu câu trả lời lặp lại, hãy giảm nhiệt độ một chút và tăng hệ số phạt lặp lại. Và nếu mô hình trả lời bằng một định dạng kỳ lạ, có thể mẫu trò chuyện không khớp với mẫu mà mô hình mong đợi; hầu hết các runtime đều cho phép bạn đặt nó một cách rõ ràng.

Giải pháp cục bộ là tốt nhất khi quyền riêng tư và khả năng ngoại tuyến quan trọng, hoặc khi bạn đã sở hữu một thẻ có 16 GB bộ nhớ trở lên.

Tuyến 2: thuê GPU trong đám mây

Các dịch vụ thuê cho phép bạn khởi động máy với GPU lớn và trả tiền theo giờ. Các bước giống với tuyến cục bộ, nhưng bạn thực hiện chúng qua SSH trên máy từ xa và phải giữ máy chạy trong khi sử dụng. Phần cuối đó quan trọng: bạn trả tiền khi máy nhàn rỗi, vì vậy hãy dừng nó khi bạn hoàn thành.

Một phiên thuê điển hình diễn ra như sau. Bạn chọn một máy với đủ bộ nhớ GPU cho mô hình của bạn, khởi động nó từ ảnh có sẵn đã có trình điều khiển được cài đặt, sao chép hoặc tải xuống trọng số, khởi động máy chủ và kết nối qua đường hầm SSH để cổng không bao giờ công khai. Hãy lên kế hoạch hai mươi đến ba mươi phút chỉ cho việc tải xuống với một tệp lớn, và hóa đơn thường chạy trong thời gian đó. Viết các bước vào một kịch bản một lần, để phiên tiếp theo bắt đầu nhanh chóng.

Kiểm tra giá theo giờ hiện tại trên trang của nhà cung cấp, vì chúng thay đổi thường xuyên. Việc thuê có ý nghĩa cho một công việc một lần như chạy một mô hình lớn qua một lô tài liệu. Nó ít có ý nghĩa hơn cho một cuộc trò chuyện bạn mở vài lần một ngày, vì đồng hồ vẫn chạy giữa các phiên, và một khối lưu trữ bền vững cho trọng số thường được tính phí riêng.

Bảo mật là do bạn chịu trách nhiệm. Đừng để lộ máy chủ mô hình ra internet công cộng khi chưa có xác thực, vì bất kỳ ai tìm thấy cổng đó đều có thể sử dụng thời gian GPU của bạn.

Lộ trình 3: gọi API lưu trữ

Dịch vụ này cung cấp cho bạn một mô hình trọng số mở duy nhất, do nhà cung cấp độc lập vận hành và được tinh chỉnh để trả lời mà không từ chối nội dung cho người lớn hợp pháp. ID mô hình là uncensored. Đây không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào và không phải là bộ định tuyến qua nhiều mô hình. Base URL là https://api.abliteratedmodels.cc/v1.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a candid technical assistant."},
        {"role": "user", "content": "Explain TCP slow start in five sentences."},
    ],
    temperature=0.7,
)
print(resp.choices[0].message.content)

Cùng một yêu cầu với curl:

Copycurl https://api.abliteratedmodels.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}],"stream":false}'

Truyền phát, gọi công cụ và chế độ JSON hoạt động như trong API OpenAI. Chi tiết có trong tài liệu.

Chi phí của mỗi tuyến, với phép tính API

Chi phí cục bộ và thuê phụ thuộc vào giá bạn phải tự tìm hiểu. Chi phí API dễ tính toán. Giá là $0,15 cho 1 triệu token đầu vào và $0,50 cho 1 triệu token đầu ra.

Một yêu cầu trợ lý lập trình với 8.000 token ngữ cảnh và câu trả lời 600 token tốn 8.000 / 1.000.000 x $0,15 = $0,0012 cho đầu vào, cộng 600 / 1.000.000 x $0,50 = $0,0003 cho đầu ra. Đó là $0,0015 cho mỗi yêu cầu. Một trăm yêu cầu như vậy mỗi ngày trong 30 ngày là 3.000 yêu cầu, hoặc $4,50 một tháng.

Nạp tiền tối thiểu là $20, sẽ bao phủ mức sử dụng đó trong hơn bốn tháng, và tín dụng không bao giờ hết hạn. Bonus áp dụng từ $50: +5%, sau đó +10% từ $100 và +15% từ $200. Bạn có thể thanh toán bằng crypto (USDT trên TRC20, USDC trên Base). Xem trang giá cả để có bảng.

Mô hình nào chạy tốt cho lập trình

Nếu mục tiêu của bạn là mã, kích thước mô hình và dữ liệu huấn luyện quan trọng hơn bước loại bỏ kiểm duyệt. Các mô hình lớn hơn viết mã đáng tin cậy hơn và cần nhiều bộ nhớ cục bộ hơn. So sánh trên các mô hình đã loại bỏ kiểm duyệt tốt nhất cho lập trình liệt kê những gì cần xem xét. Khi bạn kiểm tra các ứng viên, hãy giao cho mỗi mô hình cùng năm hoặc sáu nhiệm vụ từ công việc thực tế của bạn: sửa lỗi, một hàm ngắn, một lần tái cấu trúc, một lời giải thích về mã không quen thuộc. So sánh kết quả, không phải quảng cáo.

Tùy chọn lưu trữ hữu ích làm điểm chuẩn. Hãy chạy bộ tác vụ của bạn qua API trước, sau đó xem liệu một mô hình cục bộ bạn có thể chi trả có đáp ứng được hay không.

Bắt đầu với bài kiểm tra rẻ nhất

Trước khi mua phần cứng hoặc thuê máy, hãy dành vài phút cho API. Đăng ký với Google, hoặc với email và mật khẩu, sau đó nhận dùng thử trên trang khóa API. Nó là $0,50, hợp lệ trong 7 ngày, mỗi người một lần, và không cần thẻ. Ở $0,0015 cho mỗi yêu cầu, đó là hơn 300 yêu cầu.

Khóa dùng thử cho phép 2 yêu cầu đồng thời và 60 mỗi phút. Khóa đầy đủ cho phép 8 và 300. Nếu bạn vượt quá giới hạn, bạn nhận được HTTP 429 với rate_limited hoặc concurrency, và 429 với Retry-After: 5 trong thời gian quá tải tạm thời. Để xem xét rộng hơn về các mô hình không có sự từ chối, hãy đọc trang về mô hình AI không lọc.

API chỉ là văn bản và có quy tắc cứng: không có nội dung tình dục liên quan đến người chưa thành niên.

Hướng dẫn khác

• Abliterated Models Tải xuống: Nguồn an toàn và Kiểm tra
• Abliterated Models tốt nhất cho Coding: Những điều cần lưu ý