Pobieranie Abliterated Models: Bezpieczne źródła i weryfikacja

Gdzie ludzie zwykle pobierają

Większość wag ablieterowanych publikowana jest na Hugging Face, głównym publicznym repozytorium modeli o otwartych wagach, zarówno jako checkpointy w pełnej precyzji, jak i pliki GGUF do llama.cpp, Ollama i LM Studio. Niektórzy uploaderzy udostępniają też pliki na torrentach lub w hostach plików. Traktuj je z większą ostrożnością, ponieważ tracisz stronę modelu, historię wersji i komentarze społeczności, które pomagają ocenić wydanie.

Repozytorium z długą historią, jasną kartą modelu i wątkami dyskusyjnymi, w których inni użytkownicy zgłaszają jego zachowanie, jest lepszym znakiem niż nowe konto z jednym uploadem i bez opisu. Możesz przeczytać więcej o tej technice w naszym wyjaśnieniu na czym polega model ablieterowany.

Format pliku decyduje o poziomie ryzyka

Format ma większe znaczenie, niż większość osób się spodziewa.

• safetensors. Przechowuje zwykłe tensory i nie może wykonywać kodu po załadowaniu. Jest to bezpieczniejszy wybór dla wag w pełnej precyzji.
• GGUF. Format dla wag kwantyzowanych używany przez llama.cpp i narzędzia na nim oparte. To też dane, nie kod wykonywalny, i jest to zwykły wybór do lokalnego czatu.
• Pliki oparte na pickle (.bin, .pt, .ckpt). Wczytanie ich przy użyciu popularnych bibliotek Pythona może wykonać dowolny kod osadzony w pliku. Unikaj ich z nieznanych źródeł lub ładuj tylko w piaskownicy.

Jeśli repozytorium oferuje tylko pliki pickle i nie znajdziesz wersji safetensors lub GGUF, to powód, by poszukać gdzie indziej. Bądź też ostrożny z każdym repozytorium, które dostarcza własny skrypt ładowania Pythona wraz z wagami. Przeczytaj ten skrypt przed uruchomieniem lub nie uruchamiaj go.

Lista kontrolna przed pobraniem

1. Przeczytaj kartę modelu. Powinna zawierać nazwę modelu bazowego, metodę usunięcia odrzuceń i poziom kwantyzacji. Karta, która nic nie mówi, to sygnał ostrzegawczy.
2. Sprawdź licencję. Kopia ablieterowana przejmuje warunki modelu bazowego. Niektóre licencje ograniczają wykorzystanie komercyjne lub wymagają podania autorstwa. Jeśli planujesz zbudować produkt, przeczytaj je najpierw.
3. Porównaj nazwę modelu bazowego z oficjalnym wydaniem. Autor kopiujący może dołączyć popularną nazwę do innego pliku.
4. Spójrz na listę plików i rozmiary. Powinny odpowiadać liczbie parametrów i kwantyzacji. Plik Q4 7B o rozmiarze 400 MB lub plik 70B o rozmiarze 4 GB są błędne.
5. Szukaj opublikowanej sumy kontrolnej i zweryfikuj ją po pobraniu.
6. Sprawdź zakładkę społeczności pod kątem zgłoszeń dotyczących błędnych odpowiedzi, powtórzeń lub ukrytych zachowań.

Oblicz rozmiar pobierania wcześniej

Szacowany rozmiar pliku to liczba parametrów x bity na wagę / 8. To tylko wagi, a rzeczywiste pliki są nieco większe.

Parametry	16-bit	8-bit	4-bit
7B	14 GB	7 GB	3,5 GB
13B	26 GB	13 GB	6,5 GB
34B	68 GB	34 GB	17 GB
70B	140 GB	70 GB	35 GB

Potrzebujesz też wolnego miejsca na pobieranie i, jeśli konwertujesz lub kwantyzujesz samodzielnie, na pliki pośrednie. Brak miejsca w połowie transferu 70 GB to częsta irytacja. Pamięć do uruchomienia pliku to osobna kwestia: wagi muszą zmieścić się w GPU lub pamięci zintegrowanej, z dodatkową przestrzenią na bufor kontekstu.

Zweryfikuj plik po jego przybyciu

Pobieraj do własnego pustego folderu, trzymaj skrypty gdzie indziej i sprawdź hash przed wczytaniem pliku.

Copyhuggingface-cli download some-user/some-repo-GGUF file-Q4_K_M.gguf --local-dir ./incoming
cd incoming
shasum -a 256 file-Q4_K_M.gguf
# compare the output with the checksum shown on the repository page

Jeśli nadawca nie publikuje sumy kontrolnej, hash tylko dowodzi, że plik nie uległ uszkodzeniu w trakcie transmisji, a nie że jest dokładnie tym, co zamierzył autor. Do wszystkiego, na czym będziesz polegać, wybieraj użytkowników, których pliki są również przechowywane równolegle lub omawiane przez innych. Ładuj nowe pliki najpierw na maszynie bez dostępu do wrażliwych danych.

Zapisz notatkę o tym, co pobrałeś: nazwę repozytorium, datę, nazwę pliku i hash. Gdy miesiąc później pojawi się lepsza edycja, będziesz chciał porównać oba na tych samych promptach i będziesz chciał wiedzieć dokładnie, który plik przetestowałeś jako pierwszy.

Na koniec przetestuj zachowanie. Uruchom dziesięć do dwudziestu promptów z Twojej rzeczywistej pracy i przeczytaj wyjścia. Plik może być nienaruszony, a nadal być słabą edycją: niespójne odpowiedzi, stałe powtarzanie się lub odrzucenia, które nie zostały w pełni usunięte.

Czerwone flagi, które powinny Cię powstrzymać

Niektóre sygnały są wystarczające, by odejść bez dalszej analizy.

• Repozytorium prosi o wyłączenie skanowania bezpieczeństwa, uruchomienie instalatora lub wklejenie polecenia do terminala jako root.
• Link do pobrania prowadzi do hosta plików, który nie jest stroną repozytorium, lub strona informuje, aby wyłączyć program antywirusowy.
• Karta modelu obiecuje „100% bez cenzury, zero utraty” lub inne twierdzenie, które nie może być prawdziwe dla edycji wag. Każda edycja ma kompromis, a uczciwe karty to mówią.
• Ponowne przesyłania znanego wydania pod nową nazwą, z innym rozmiarem pliku niż oryginał.
• Całkowity brak tekstu licencji dla modelu bazowego, który jest znany z posiadania jednej.

Nawet przy czystych sygnałach uruchamiaj nowe pliki z najmniejszym możliwym dostępem. GGUF otwarty przez aktualną wersję głównego środowiska wykonawczego niesie małe ryzyko wykonania kodu, ale środowiska miały błędy, więc aktualizuj je. Jeśli coś wygląda źle, usuń plik i wybierz inne źródło. Ponowne pobranie kosztuje minuty; odzyskiwanie po złym pliku na maszynie przechowującej Twoją pracę nie.

Kiedy endpoint hostowany oszczędza czas

Pobieranie ma sens, gdy chcesz używać offline, pełną kontrolę nad kwantyzacją lub planujesz scalanie i eksperymentowanie. Jeśli chcesz tylko modelu, który odpowiada bez odrzuceń treści do zgodnego z prawem użytku przez dorosłych, hostowane API oszczędza pobieranie, magazynowanie, weryfikację i planowanie pamięci.

Ta usługa obsługuje jeden model o otwartych wagach, uruchamiany przez niezależnego dostawcę, pod identyfikatorem uncensored. Nie jest to kopią oficjalnego API żadnego dostawcy. Wywołujesz go jak OpenAI:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "List five checks for a downloaded file."}],
)
print(r.choices[0].message.content)

Okno kontekstu wynosi 100 000 tokenów. Strumieniowanie, wywoływanie narzędzi i tryb JSON są obsługiwane, a prompty nie są używane do trenowania. Parametry i limity znajdziesz na stronie dokumentacji.

Koszt API w porównaniu do pobierania

Nie ma kosztu pobierania, ale płacisz za token: $0,15 za 1 mln wejściowych i $0,50 za 1 mln wyjściowych. Zapytanie z 4 000 tokenami wejściowymi i 800 wyjściowymi kosztuje 4 000 / 1 000 000 x $0,15 = $0,0006 plus 800 / 1 000 000 x $0,50 = $0,0004, więc $0,001. Tysiąc takich kosztuje $1.

Minimalna kwota doładowania to $20, z bonusem +5% przy kwocie od $50, +10% przy kwocie od $100 i +15% przy kwocie od $200. Zapłać kryptowalutami. Szczegóły znajdziesz na stronie z cenami. Aby przetestować usługę bez płatności, odbierz darmowy kredyt próbny w wysokości $0,50 na stronie klucza API po zalogowaniu; kredyt jest ważny przez 7 dni. W przypadku użycia do programowania, strona o modelach bez cenzury do programowania porównuje kluczowe aspekty.

Więcej przewodników

• Jak uruchomić modele Abliterated: Lokalnie, w chmurze lub przez API
• Najlepsze modele Abliterated do kodowania: na co zwracać uwagę