Загрузка аблитерированных моделей: безопасные источники и проверки

Где обычно скачивают

Большинство аблитерированных весов публикуются на Hugging Face, основном публичном хабе моделей с открытыми весами, либо в виде чекпоинтов полной точности, либо в виде квантованных файлов GGUF для llama.cpp, Ollama и LM Studio. Некоторые пользователи также выкладывают файлы в торрентах или на файлообменниках. Относитесь к ним с большей осторожностью, так как вы теряете страницу модели, историю версий и комментарии сообщества, помогающие оценить релиз.

Репозиторий с долгой историей, понятной карточкой модели и ветками обсуждений, где другие пользователи сообщают о поведении, — лучший признак, чем новый аккаунт с одной выкладкой и без описания. Вы можете узнать больше о технике в нашем разборе: что такое аблитерированная модель.

Формат файла определяет уровень риска

Формат важнее, чем ожидают многие.

• safetensors. Хранит обычные тензоры и не может выполнять код при загрузке. Это более безопасный выбор для весов полной точности.
• GGUF. Формат для квантованных весов, используемый llama.cpp и инструментами на его базе. Это также данные, а не исполняемый код, и это обычный выбор для локального чата.
• Файлы на основе Pickle (.bin, .pt, .ckpt). Загрузка таких файлов с помощью распространённых инструментов Python может выполнить произвольный код, встроенный в файл. Избегайте их, если они из неизвестных источников, или загружайте их только в песочнице.

Если репозиторий предлагает только файлы pickle и вы не можете найти версию safetensors или GGUF, это повод поискать другое место. Также будьте осторожны с любыми репозиториями, которые поставляют собственный скрипт-загрузчик на Python вместе с весами. Прочитайте этот скрипт перед запуском или не запускайте его.

Чек-лист перед скачиванием

1. Прочитайте карточку модели. В ней должны быть указаны базовая модель, метод удаления отказов и уровень квантования. Карточка, в которой ничего не сказано, — тревожный знак.
2. Проверьте лицензию. Аблитерированная копия наследует условия базовой модели. Некоторые лицензии ограничивают коммерческое использование или требуют указания авторства. Если вы планируете создавать продукт, прочтите их сначала.
3. Сравните название базовой модели с официальным релизом. Недобросовестный автор копии может присвоить популярное название другому файлу.
4. Посмотрите на список файлов и их размеры. Они должны соответствовать количеству параметров и квантованию. Файл Q4 на 7B весом 400 МБ или файл на 70B весом 4 ГБ — это ошибка.
5. Ищите опубликованную контрольную сумму и проверяйте ее после скачивания.
6. Просмотрите вкладку сообщества на предмет сообщений о сломанном выводе, повторениях или скрытом поведении.

Сначала рассчитайте размер загрузки

Приблизительный размер файла: параметры × бит на вес / 8. Это только веса, реальные файлы занимают немного больше места.

Параметры	16-битный	8-битный	4-битный
7B	14 ГБ	7 ГБ	3,5 ГБ
13B	26 ГБ	13 ГБ	6,5 ГБ
34B	68 ГБ	34 ГБ	17 ГБ
70B	140 ГБ	70 ГБ	35 ГБ

Вам также понадобится свободное место на диске для загрузки и, если вы конвертируете или квантуете самостоятельно, для промежуточных файлов. Нехватка места посреди передачи 70 ГБ — частая неприятность. Память для запуска файла — отдельный вопрос: веса должны помещаться в GPU или унифицированную память с дополнительным местом для кэша контекста.

Проверьте файл после получения

Скачивайте файлы в отдельную пустую папку, храните скрипты в другом месте и проверяйте хеш перед загрузкой файла.

Copyhuggingface-cli download some-user/some-repo-GGUF file-Q4_K_M.gguf --local-dir ./incoming
cd incoming
shasum -a 256 file-Q4_K_M.gguf
# compare the output with the checksum shown on the repository page

Если автор не публикует контрольную сумму, хеш только доказывает, что файл не повредился при передаче, а не то, что он соответствует задумке автора. Для всего, на что вы планируете положиться, предпочитайте авторов, чьи файлы также зеркалируются или обсуждаются другими. Сначала загружайте новые файлы на машине без доступа к чувствительным данным.

Запишите, что вы скачали: название репозитория, дату, имя файла и хеш. Когда через месяц появится более удачная правка, вы захотите сравнить оба варианта на одних и тех же промптах и захотите точно знать, какой файл вы тестировали первым.

Наконец, протестируйте поведение. Запустите десять-двадцать промптов из вашей реальной работы и прочитайте ответы. Файл может быть целым, но всё равно быть неудачной правкой: бессвязные ответы, постоянные повторы или отказы, которые не были полностью удалены.

Красные флаги, которые должны остановить вас

Некоторые сигналы достаточно, чтобы уйти без дальнейшего анализа.

• Репозиторий просит отключить сканирование безопасности, запустить установщик или вставить команду в терминал от имени root.
• Ссылка на скачивание ведет на файловый хостинг, не являющийся страницей репозитория, или страница требует отключить антивирус.
• Карточка модели обещает «100% без цензуры, без потерь» или любое другое утверждение, которое не может быть правдой для правки весов. Любая правка имеет компромисс, и честные карточки об этом говорят.
• Перезаливы известного релиза под новым названием, с размером файла, отличающимся от оригинала.
• Отсутствие текста лицензии для базовой модели, о которой известно, что у нее она есть.

Даже при чистых сигналах запускайте новые файлы с минимальными правами доступа. Файл GGUF, открытый текущей версией распространённого рантайма, несёт минимальный риск выполнения кода, но в рантаймах бывают ошибки, поэтому обновляйте их. Если что-то выглядит неправильно, удалите файл и выберите другой источник. Повторная загрузка занимает минуты; восстановление после загрузки плохого файла на машине с вашими данными — нет.

Когда облачный эндпоинт экономит время

Скачивание имеет смысл, если вам нужен офлайн-режим, полный контроль над квантованием или вы планируете слияние и эксперименты. Если вам просто нужна модель, которая отвечает без отказов по контенту для законного использования взрослыми, размещённое API сэкономит скачивание, хранение, проверку и планирование памяти.

Этот сервис предоставляет одну модель с открытыми весами, запущенную независимым провайдером, под идентификатором uncensored. Это не зеркало официального API какого-либо вендора. Вы вызываете его как OpenAI:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "List five checks for a downloaded file."}],
)
print(r.choices[0].message.content)

Контекстное окно составляет 100 000 токенов. Поддерживаются потоковая передача, вызов инструментов и JSON-режим, а промпты не используются для обучения. Параметры и лимиты указаны на странице документации.

Стоимость API по сравнению со скачиванием

Стоимости скачивания нет, но вы платите за каждый токен: $0,15 за 1 млн входных и $0,50 за 1 млн выходных токенов. Запрос с 4000 входными токенами и 800 выходными токенами стоит 4000 / 1 000 000 x $0,15 = $0,0006 плюс 800 / 1 000 000 x $0,50 = $0,0004, итого $0,001. Тысяча таких запросов стоит $1.

Минимальная сумма пополнения — $20, с бонусом +5% от $50, +10% от $100 и +15% от $200. Оплатите криптовалютой. Подробности см. в разделе цены. Чтобы протестировать без оплаты, получите пробный баланс $0,50 на странице API-ключа после регистрации; он действителен в течение 7 дней. Для программирования на странице аблитерированных моделей для программирования сравнивается, на что обращать внимание.

Дополнительные руководства

• Как запустить аблитерированные модели: локально, в облаке или через API
• Лучшие аблитерированные модели для кодинга: на что обратить внимание