Mô hình Abliterated là gì? Giải thích đơn giản

Tóm tắt nhanh

Mô hình abliterated là mô hình ngôn ngữ trọng số mở thông thường đã có hành vi từ chối được loại bỏ trực tiếp bằng cách thay đổi các số bên trong mô hình thay vì huấn luyện lại hoặc viết một prompt thông minh. Từ này kết hợp "ablation" (cắt bỏ một phần để xem nó làm gì) với "obliteration". Sau khi chỉnh sửa, mô hình không còn trả lời "Tôi không thể giúp việc đó" cho các yêu cầu mà nó được dạy để từ chối.

Ba điểm đáng ghi nhớ trước khi đi vào chi tiết:

• Đây là chỉnh sửa trọng số, không phải mẹo prompt. Không có văn bản jailbreak để duy trì và không tốn ngữ cảnh cho nó.
• Nó loại bỏ hành vi, không phải kiến thức. Mô hình biết những gì nó đã biết trước đây; nó chỉ ngừng từ chối.
• Nó không miễn phí. Việc chỉnh sửa có thể làm giảm chất lượng chung, vì vậy các nhà phát triển cẩn thận kiểm tra kết quả và đôi khi fine-tune sau đó để khôi phục nó.

Nguồn gốc của ý tưởng

Các mô hình chat học cách từ chối trong quá trình huấn luyện sau. Các nhà chú thích và mô hình phần thưởng đẩy mô hình hướng tới việc từ chối các yêu cầu nhất định, và thói quen này được tích hợp cùng với mọi thứ khác mà mô hình đã học. Trong một thời gian dài, điều đó trông giống như một hành vi lan tỏa trải qua hàng tỷ tham số.

Một bài báo nghiên cứu có tiêu đề Refusal in Language Models Is Mediated by a Single Direction cho thấy một hướng tiếp cận khả thi hơn. Trên nhiều mô hình chat mở, phần lớn hành vi từ chối được kiểm soát bởi một hướng trong không gian kích hoạt nội bộ của mô hình. Đẩy các kích hoạt theo hướng đó và mô hình sẽ từ chối cả những yêu cầu vô hại. Loại bỏ hướng đó và nó sẽ ngừng từ chối các yêu cầu mà nó thường sẽ từ chối.

Cộng đồng mã nguồn mở đã biến phát hiện này thành một công thức thực tiễn và đặt tên cho nó. Abliteration là công thức đó: tìm hướng từ chối, sau đó làm cho mô hình không thể sử dụng nó.

Cách abliteration hoạt động, từng bước

Quy trình đủ ngắn để mô tả trong năm bước. Không có quá trình gradient descent nào được sử dụng, đó là lý do tại sao nó cần ít tài nguyên tính toán hơn nhiều so với việc huấn luyện một mô hình.

1. Thu thập hai bộ prompt. Một bộ chứa các yêu cầu mà mô hình từ chối, bộ kia chứa các yêu cầu mà nó trả lời. Kích thước phổ biến là vài trăm cái cho mỗi bộ.
2. Ghi lại các kích hoạt. Chạy cả hai bộ qua mô hình và lưu trạng thái ẩn ở một lớp được chọn, thường là ở token prompt cuối cùng.
3. Tính toán hướng. Trung bình hóa các kích hoạt của mỗi bộ, trừ trung bình của bộ "đã trả lời" khỏi trung bình của bộ "đã từ chối", và chuẩn hóa kết quả. Vector đó là hướng từ chối.
4. Triệt tiêu nó. Hoặc trừ hướng đó khi chạy, hoặc chỉnh sửa các ma trận trọng số ghi vào luồng dư (nhúng, đầu ra attention, đầu ra MLP) để chúng không bao giờ tạo ra thành phần theo hướng đó. Tùy chọn thứ hai là vĩnh viễn và là cách mà hầu hết các checkpoint abliterated đã được công bố sử dụng.
5. Kiểm thử. Chạy các prompt đã giữ lại, so sánh tỷ lệ từ chối trước và sau, và kiểm tra các nhiệm vụ thông thường như suy luận và lập trình để tìm các lỗi suy giảm.

Việc chọn lớp rất quan trọng. Hãy chọn một lớp mà tại đó hướng tách biệt hai bộ prompt một cách rõ ràng, và phép chỉnh sửa hoạt động; chọn một lớp kém và bạn sẽ nhận được một mô hình vẫn từ chối, hoặc một mô hình đã mất khả năng trả lời các câu hỏi không liên quan. Trong thực tế, mọi người thử nhiều lớp và giữ lại lớp tốt nhất.

So sánh abliteration với các phương pháp khác

Có ba cách phổ biến để làm cho mô hình ngừng từ chối. Chúng khác nhau ở những gì chúng thay đổi và nơi chúng thường thất bại.

Phương pháp	Những thay đổi	Chi phí	Điểm yếu điển hình
Prompt jailbreak	Chỉ văn bản đầu vào	Không có, nhưng nó sử dụng ngữ cảnh trên mỗi lệnh gọi	Mỏng manh; một bản cập nhật mô hình và nó ngừng hoạt động
Fine-tune trên dữ liệu không bị hạn chế	Trọng số, qua huấn luyện	Giờ GPU và một bộ dữ liệu được chọn lọc	Chất lượng bộ dữ liệu quyết định mọi thứ; phong cách viết có thể bị lệch
Abliteration	Trọng số, qua chỉnh sửa trực tiếp	Thấp so với huấn luyện	Hướng là xấp xỉ, vì vậy chất lượng có thể giảm

Nhiều mô hình hoàn thiện kết hợp các phương pháp. Một mẫu phổ biến là abliterate trước, sau đó chạy tinh chỉnh ngắn để khôi phục chất lượng bị mất do chỉnh sửa. Khi đọc thẻ mô hình, hãy xem các bước nào trong số này đã được sử dụng và liệu tác giả có báo cáo các bài kiểm tra trước và sau hay không.

Những gì bạn đánh đổi và những gì cần lưu ý

Loại bỏ từ chối không làm cho mô hình tốt hơn ở bất cứ điều gì. Nó loại bỏ một bộ lọc. Dưới đây là một số hệ quả.

Chất lượng có thể giảm

Hướng từ chối không hoàn toàn tách biệt với các tính năng khác. Chỉnh sửa nó có thể làm mờ hành vi lân cận, điều này thể hiện ở khả năng suy luận kém hơn một chút, định dạng kỳ lạ hoặc giọng điệu phẳng hơn. Một bản build tốt giữ các hiệu ứng này nhỏ, nhưng bạn nên chạy các prompt của riêng mình thay vì tin tưởng nhãn.

Phán quyết thuộc về bạn bây giờ

Một mô hình đã căn chỉnh đôi khi từ chối một yêu cầu vì lý do chính đáng. Một mô hình không kiểm duyệt sẽ thường tiếp tục. Nếu bạn phát hành một sản phẩm dựa trên nó, bạn quyết định những gì có thể chấp nhận được: viết một prompt hệ thống, thêm các kiểm tra đầu vào của riêng bạn, và ghi lại những gì quan trọng đối với bạn. Sử dụng hợp pháp cho người trưởng thành là phạm vi dự kiến. Nội dung liên quan đến người chưa thành niên là giới hạn cứng trên dịch vụ này và không bao giờ được chấp nhận ở bất cứ đâu.

Lỗi vẫn xảy ra

Mô hình vẫn có thể bịa đặt sự thật, hiểu sai hướng dẫn hoặc mất dấu một cuộc trò chuyện dài. Ít từ chối hơn không có nghĩa là độ chính xác cao hơn.

Mô hình đằng sau API này nằm ở đâu trong bức tranh chung

Bài viết này mô tả phương pháp một cách chung chung. Những gì API cung cấp cho bạn là một mô hình trọng số mở, chạy bởi một nhà cung cấp độc lập, được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người lớn hợp pháp. Đây không phải là API chính thức của Meta, Mistral, Qwen, DeepSeek, OpenAI hoặc bất kỳ nhà cung cấp nào khác, và nó không phải là bộ định tuyến giữa nhiều mô hình. Nó chỉ xử lý văn bản: không có hình ảnh, âm thanh, nhúng hoặc tinh chỉnh.

Giao diện tương thích với OpenAI. Chỉ định bất kỳ SDK OpenAI nào vào https://api.abliteratedmodels.cc/v1, sử dụng ID mô hình uncensored và gửi khóa của bạn dưới dạng token Bearer:

Copycurl https://api.abliteratedmodels.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [
      {"role": "user", "content": "Explain directional ablation in two sentences."}
    ]
  }'

Cùng một lệnh gọi trong Python với SDK chính thức:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.abliteratedmodels.cc/v1",
    api_key="YOUR_KEY",
)

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "What does a refusal direction mean?"}],
)
print(reply.choices[0].message.content)

Cửa sổ ngữ cảnh là 100.000 token, tính cả prompt và kết quả. Truyền phát (streaming), gọi hàm và chế độ JSON hoạt động như trong API của OpenAI. Chi tiết có trong tài liệu API.

Những hiểu lầm phổ biến về mô hình abliterated

Một vài ý kiến lưu hành về các mô hình này đáng được làm rõ, vì chúng khiến mọi người mong đợi những điều sai lệch.

"Nó là một mô hình thông minh hơn." Không phải vậy. Phép chỉnh sửa loại bỏ một bộ lọc. Khả năng suy luận, bộ nhớ về các sự thật và kỹ năng viết đến từ mô hình cơ sở, và nếu có gì thì chúng chỉ có thể giữ nguyên hoặc hơi tệ hơn. Nếu một nhiệm vụ thất bại trên phiên bản đã căn chỉnh do thiếu khả năng, nó cũng sẽ thất bại ở đây.

"Nó không có quy tắc nào cả." Mô hình có thể không có thói quen từ chối, nhưng dịch vụ xung quanh nó thì có. Nội dung tình dục liên quan đến người chưa thành niên là giới hạn cứng, và phạm vi dự kiến là sử dụng hợp pháp cho người trưởng thành. Mô hình cũng vẫn mang tông giọng và cách ứng xử từ dữ liệu huấn luyện của nó, vì vậy nó sẽ không trở nên thô lỗ hoặc nguy hiểm trừ khi một prompt đẩy nó vào đó.

"Một prompt hệ thống có thể làm điều tương tự." Một prompt hệ thống có thể tác động đến một mô hình, và đôi khi điều đó là đủ cho các trường hợp nhẹ. Nhưng prompt tốn token đầu vào trên mỗi yêu cầu, cạnh tranh với các hướng dẫn thực sự của bạn để lấy sự chú ý, và sẽ thất bại khi phản xạ được huấn luyện của mô hình mạnh. Một phép chỉnh sửa trọng số không có bất kỳ chi phí nào trong số đó.

"Abliteration có nghĩa là bất hợp pháp." Không phải vậy. Các mô hình trọng số mở được công bố để bất kỳ ai cũng có thể sửa đổi, và việc chỉnh sửa một mô hình là một phần bình thường của nghiên cứu học máy. Những gì bạn làm với đầu ra mới là điều luật pháp quan tâm, và đó vẫn là trách nhiệm của bạn.

Giữ những điểm này trong tâm trí sẽ giúp bạn dễ dàng đánh giá một mô hình như vậy một cách hợp lý: như một công cụ có ít rào cản bảo vệ hơn nhưng có cùng kỹ năng nền tảng, để bạn có thể bao bọc nó bằng các biện pháp bảo vệ mà sản phẩm của bạn cần.

Ai thực sự cần một mô hình như vậy

Hầu hết mọi người không bao giờ gặp phải từ chối. Những người gặp phải thường thuộc vào một vài nhóm:

• Nhà văn truyện hư cấu và nhập vai. Các chủ đề tối tăm, những kẻ phản diện có mối đe dọa thực sự và các cảnh rối ren về đạo đức là bình thường trong văn học. Các mô hình đã căn chỉnh thường làm mềm hoặc từ chối chúng. Các ứng dụng bạn đồng hành và truyện dành cho người lớn gặp phải cùng một vấn đề.
• Nhân viên bảo mật và red-team. Viết các payload kiểm thử, giải thích cách một chuỗi khai thác hoạt động hoặc phân tích một mẫu malware có thể kích hoạt một bộ lọc được xây dựng cho công chúng nói chung.
• Nhóm kiểm duyệt và nghiên cứu. Để xây dựng một bộ phân loại cho văn bản gây hại, đôi khi bạn cần một mô hình sẽ tạo ra các ví dụ về nó, hoặc mô hình sẽ thảo luận về chúng mà không run sợ.
• Nhà phát triển mệt mỏi với các vòng lặp thử lại. Nếu một nửa quy trình của bạn đang bắt các từ chối và diễn giải lại, việc loại bỏ chúng sẽ đơn giản hóa mã.

Nếu bạn đang cân nhắc sự đánh đổi giữa chi phí và kiểm soát so với mô hình được lưu trữ đã được căn chỉnh, trang chi phí so với kiểm soát của API LLM không kiểm duyệt đi vào chi tiết về vấn đề này. Giá cả cố định: $0,15 cho mỗi triệu token đầu vào và $0,50 cho mỗi triệu token đầu ra, với các yêu cầu thất bại hoặc bị từ chối không bị tính phí. Xem trang giá cả để biết số tiền nạp và các ưu đãi.

Thử nghiệm mà không tốn tiền

Bạn có thể kiểm tra xem một mô hình không kiểm duyệt có phù hợp với các prompt của bạn trước khi trả bất kỳ khoản tiền nào. Đăng ký bằng Google hoặc với email và mật khẩu, mở trang khóa API, và nhận tín dụng dùng thử miễn phí $0,50 chỉ với một cú nhấp chuột. Nó không cần thẻ, giới hạn một lần cho mỗi người và vẫn còn hiệu lực trong 7 ngày. Với các mức giá này, $0,50 đủ cho hơn một nghìn lượt trò chuyện ngắn, điều đó là đủ cho một bài kiểm tra công bằng.

Chạy các prompt mà mô hình hiện tại của bạn từ chối, so sánh các câu trả lời với phán đoán của chính bạn, và xem xét chất lượng trên các nhiệm vụ không liên quan đến việc từ chối. Nếu đầu ra đáp ứng được yêu cầu, hãy lấy một khóa từ trang khóa API và nạp tiền từ $20.

Hướng dẫn khác

• Mô hình abliterated tốt nhất cho lập trình: Những điều cần lưu ý
• Phân tích Chi phí vs. Kiểm soát của API LLM không kiểm duyệt