Jak uruchomić Abliterated Models: lokalnie, w chmurze lub przez API

Wybierz trasę najpierw

	Lokalne	Wynajęte GPU w chmurze	Hostowane API
Koszt początkowy	Sprzęt, który możesz już posiadać	Brak	Brak
Czas konfiguracji	Jeden wieczór	Jeden wieczór plus opieka nad zdalnym serwerem	Minuty
Koszt bieżący	Prąd	Godzinowo, gdy maszyna działa	Za token
Wymagana umiejętność	Umiarkowana	Umiarkowane do wysokich	Niski
Prywatność	Najwyższy	Zależy od hosta	Po stronie serwera; prompty nie są używane do trenowania

Jeśli chcesz tylko odpowiedzi od modelu, który nie odmawia legalnych żądań od osób dorosłych, API jest najszybszą drogą. Jeśli chcesz eksperymentować z wagami, łączyć modele lub działać offline, wybierz lokalnie. Opcja GPU w chmurze pasuje do osób potrzebujących dużego modelu na kilka godzin, które nie chcą kupować sprzętu.

Trasa 1: uruchom lokalnie

Potrzebujesz wag w formacie, który ładuje Twój runtime, oraz wystarczająco dużo pamięci. Najczęstsza konfiguracja to plik GGUF z llama.cpp lub narzędziem opartym na nim, takim jak Ollama lub LM Studio.

1. Oceń pamięć. Wagi zajmują około liczba parametrów x bity na wagę / 8. Model 14B przy 4-bitach to około 7 GB. Dodaj kilka gigabajtów na pamięć podręczną kontekstu.
2. Pobierz plik z kwantyzacją z zaufanego źródła. Strona o tym, czym jest model abliterated wyjaśnia, co zawierają te pliki.
3. Uruchom serwer. Z llama.cpp polecenie wygląda następująco.
4. Wskaż na nie swoją aplikację. Serwer udostępnia endpoint w stylu OpenAI, więc każdy kompatybilny klient się połączy.

Copyllama-server -m ./weights-Q4_K_M.gguf -c 8192 -ngl 99 --port 8080

Tutaj -c ustawia długość kontekstu, a -ngl 99 przenosi wszystkie warstwy na GPU, jeśli się zmieszczą. Zmniejsz -ngl, jeśli zabraknie pamięci, i spodziewaj się wolniejszego wyjścia, gdy warstwy pozostają na CPU.

Typowe problemy lokalne są łatwe do zidentyfikowania. Jeśli ładowanie nie powiedzie się z komunikatem o braku pamięci, wybierz mniejszą kwantyzację lub skróć długość kontekstu, ponieważ pamięć podręczna skaluje się wraz z nim. Jeśli generowanie jest bolesnie wolne, niektóre warstwy działają na CPU, więc sprawdź liczbę odciążonych warstw. Jeśli odpowiedzi powoli przechodzą w powtarzalność, zmniejsz nieco temperaturę i zwiększ karę za powtarzalność. A jeśli model odpowiada w dziwnym formacie, szablon czatu może nie pasować do oczekiwanego; większość środowisk pozwala ustawić go jawnie.

Tryb lokalny jest najlepszy, gdy liczy się prywatność i działanie offline, lub gdy posiadasz już kartę z 16 GB lub więcej pamięci.

Trasa 2: wynajmij GPU w chmurze

Usługi wynajmu pozwalają uruchomić maszynę z dużym GPU i płacić za godzinę. Kroki odpowiadają trasie lokalnej, ale wykonujesz je przez SSH na zdalnej maszynie i musisz utrzymywać maszynę włączoną, gdy jej używasz. Ta ostatnia część ma znaczenie: płacisz, gdy jest bezczynna, więc zatrzymaj ją, gdy skończysz.

Typowa sesja wynajmu wygląda tak. Wybierasz maszynę z wystarczającą pamięcią GPU dla swojego modelu, uruchamiasz ją z gotowego obrazu, który ma już zainstalowane sterowniki, kopiujesz lub pobierasz wagi, uruchamiasz serwer i łączysz się przez tunel SSH, aby port nie był publiczny. Zaplanuj dwadzieścia do trzydziestu minut tylko na pobieranie dużego pliku, a rozliczenie zwykle trwa przez ten czas. Zapisz kroki w skrypcie raz, aby następna sesja uruchamiała się szybko.

Sprawdź aktualne ceny godzinowe na stronie dostawcy, ponieważ często się zmieniają. Wynajem ma sens dla jednorazowego zadania, takiego jak uruchomienie dużego modelu przez partię dokumentów. Ma mniej sensu dla czatu, który otwierasz kilka razy dziennie, ponieważ licznik działa między sesjami, a trwały wolumen pamięci do wag jest często rozliczany osobno.

Bezpieczeństwo jest na Tobie. Nie wystawiaj serwera modelu do otwartego internetu bez uwierzytelniania, ponieważ każdy, kto znajdzie port, może użyć Twojego czasu GPU.

Trasa 3: wywołaj API hostowane

Usługa oferuje jeden model o otwartych wagach, uruchamiany przez niezależnego dostawcę i dostrojony do odpowiadania bez odmów treści dla prawnego użytku dorosłych. ID modelu to uncensored. Nie jest to oficjalne API żadnego dostawcy modeli ani router łączący wiele z nich. Base URL to https://api.abliterated.cc/v1.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliterated.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a candid technical assistant."},
        {"role": "user", "content": "Explain TCP slow start in five sentences."},
    ],
    temperature=0.7,
)
print(resp.choices[0].message.content)

To samo zapytanie z curl:

Copycurl https://api.abliterated.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}],"stream":false}'

Strumieniowanie, wywoływanie funkcji i tryb JSON działają jak w API OpenAI. Szczegóły znajdziesz w dokumentacji.

Koszt każdej trasy, z rachunkiem API

Koszty lokalne i wynajmu zależą od cen, które musisz sprawdzić samodzielnie. Koszt API jest prosty do obliczenia. Stawki to $0,15 za 1 mln tokenów wejściowych i $0,50 za 1 mln tokenów wyjściowych.

Zapytanie do asystenta kodującego z 8000 tokenami kontekstu i odpowiedzią 600 tokenów kosztuje 8000 / 1 000 000 x $0,15 = $0,0012 za wejście, plus 600 / 1 000 000 x $0,50 = $0,0003 za wyjście. To $0,0015 za zapytanie. Sto takich zapytań dziennie przez 30 dni to 3000 zapytań, czyli $4,50 miesięcznie.

Minimalne doładowanie to $20, co pokryje to użycie przez ponad cztery miesiące, a kredyt nigdy nie wygasa. Bonusy zaczynają się od $50: +5%, następnie +10% od $100 i +15% od $200. Możesz zapłacić kryptowalutami (USDT na TRC20, USDC na Base). Zobacz stronę z cenami dla tabeli.

Które modele dobrze radzą sobie z kodowaniem

Jeśli Twoim celem jest kod, wielkość modelu i dane szkoleniowe mają większe znaczenie niż krok abliteracji. Większe modele piszą bardziej niezawodny kod i wymagają więcej pamięci lokalnie. Porównanie na najlepszych modelach abliterated do kodowania wskazuje, na co zwracać uwagę. Testując kandydatów, daj każdemu te same pięć lub sześć zadań z Twojej rzeczywistej pracy: naprawa błędu, krótka funkcja, refaktoryzacja, wyjaśnienie nieznanego kodu. Porównuj wyniki, nie marketing.

Opcja hostowana jest przydatna jako punkt odniesienia. Najpierw uruchom zestaw zadań przeciwko API, a następnie sprawdź, czy lokalny model, na który możesz sobie pozwolić, dorównuje mu.

Zacznij od najtańszego testu

Zanim kupisz sprzęt lub wynajmiesz maszynę, poświęć kilka minut na API. Zaloguj się przez Google lub e-mail i hasło, a następnie odebierz próbę na stronie klucza API. To $0,50, ważne przez 7 dni, jedno na osobę, bez karty. Przy $0,0015 za zapytanie daje to ponad 300 zapytań.

Klucze próbne pozwalają na 2 równoległe zapytania i 60 na minutę. Pełne klucze pozwalają na 8 i 300. Jeśli przekroczysz limit, otrzymasz HTTP 429 z rate_limited lub concurrency oraz 429 z Retry-After: 5 podczas tymczasowego przeciążenia. Dla szerszego spojrzenia na modele bez odmów przeczytaj stronę o niefiltrowanym modelu AI.

API jest tylko tekstowe i ma ścisłą zasadę: brak treści seksualnych z udziałem nieletnich.

Więcej przewodników

• Abliterated Models Pobieranie: Bezpieczne Źródła i Sprawdzenia
• Najlepszy Abliterated Models do kodowania: na co zwracać uwagę