Как запустить Abliterated Models: локально, в облаке или через API

Сначала выберите маршрут

	Локально	Арендованный облачный GPU	Размещённый API
Предварительные затраты	Оборудование, которое у вас, возможно, уже есть	Нет	Нет
Время настройки	Вечер	Вечер плюс администрирование удаленного сервера	Минуты
Текущие расходы	Электричество	Почасово, пока машина работает	За токен
Требуемый навык	Умеренная	От средней до высокой	Низкая
Конфиденциальность	Самый высокий	Зависит от хоста	На стороне сервера; промпты не используются для обучения

Если вам нужны ответы от модели, которая не отказывает в законных запросах совершеннолетних, API — самый короткий путь. Если вы хотите экспериментировать с весами, объединять модели или запускать их локально, переходите на локальную среду. Вариант с облачным GPU подходит тем, кому нужна большая модель на несколько часов и кто не хочет покупать оборудование.

Маршрут 1: локальный запуск

Вам нужны веса в формате, который загружает ваш runtime, и достаточно памяти. Наиболее распространенная настройка — файл GGUF с llama.cpp или инструментом на его основе, таким как Ollama или LM Studio.

1. Оцените объём памяти. Веса занимают примерно число параметров x бит на вес / 8. Модель на 14B в 4-битном квантовании занимает около 7 ГБ. Добавьте несколько гигабайт для кэша контекстного окна.
2. Скачайте квантованный файл из надежного источника. Страница о том, что такое аблитерированная модель, объясняет, что содержат эти файлы.
3. Запустите сервер. С llama.cpp команда выглядит так, как ниже.
4. Направьте на него ваше приложение. Сервер предоставляет эндпоинт в стиле OpenAI, поэтому любой совместимый клиент подключается.

Copyllama-server -m ./weights-Q4_K_M.gguf -c 8192 -ngl 99 --port 8080

Здесь -c задаёт длину контекстного окна, а -ngl 99 выгружает все слои на GPU, если они помещаются. Уменьшите -ngl, если закончится память, и ожидайте более медленный вывод, когда слои остаются на CPU.

Распространенные локальные проблемы легко распознать. Если загрузка завершается ошибкой нехватки памяти, выберите меньшее квантование или уменьшите длину контекстного окна, так как кэш масштабируется с ним. Если вывод очень медленный, некоторые слои работают на CPU, поэтому проверьте, сколько из них выгружено. Если ответы скатываются в повторение, немного снизьте температуру и увеличьте штраф за повторение. А если модель выдает ответы в странном формате, шаблон чата может не соответствовать тому, который ожидает модель; большинство runtime позволяют задать его явно.

Локальный запуск лучше всего подходит, когда важны конфиденциальность и автономная работа, или когда у вас уже есть карта с 16 ГБ или более памяти.

Маршрут 2: аренда GPU в облаке

Сервисы аренды позволяют запустить машину с большим GPU и платить почасово. Шаги совпадают с локальным маршрутом, но вы выполняете их через SSH на удаленной машине, и вы должны держать машину работающей, пока используете ее. Последняя часть важна: вы платите, пока она простаивает, поэтому останавливайте ее, когда закончите.

Типичный сеанс аренды выглядит так. Вы выбираете машину с достаточной памятью GPU для вашей модели, запускаете её из предустановленного образа, в котором уже установлены драйверы, копируете или скачиваете веса, запускаете сервер и подключаетесь через SSH-туннель, чтобы порт никогда не был публичным. Запланируйте двадцать-тридцать минут только на загрузки с большим файлом, и оплата обычно идет в это время. Запишите шаги в скрипт один раз, чтобы следующий сеанс начинался быстро.

Проверьте текущие почасовые цены на сайте провайдера, так как они часто меняются. Аренда имеет смысл для разовой задачи, такой как запуск большой модели через пакет документов. Это менее целесообразно для чата, который вы открываете несколько раз в день, так как счетчик работает между сеансами, а постоянный том хранения для весов часто оплачивается отдельно.

Безопасность на вашей совести. Не выставляйте сервер модели в открытый интернет без аутентификации, так как любой, кто найдет порт, может использовать ваше время GPU.

Маршрут 3: вызов размещённого API

Этот сервис предоставляет одну модель с открытыми весами, запущенную независимым провайдером и настроенную на ответы без отказов по контенту для законного использования совершеннолетними. Идентификатор модели — uncensored. Это не официальный API какого-либо поставщика моделей и не роутер между несколькими. Базовый URL — https://api.abliteratedmodels.cc/v1.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a candid technical assistant."},
        {"role": "user", "content": "Explain TCP slow start in five sentences."},
    ],
    temperature=0.7,
)
print(resp.choices[0].message.content)

Тот же запрос с curl:

Copycurl https://api.abliteratedmodels.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}],"stream":false}'

Потоковая передача, вызов функций и JSON-режим работают так же, как в OpenAI API. Подробности в документации.

Стоимость каждого маршрута с расчетом стоимости API

Локальные и арендные затраты зависят от цен, которые вы должны искать самостоятельно. Стоимость API легко вычислить. Тарифы: $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов.

Запрос помощника по коду с контекстом в 8000 токенов и ответом в 600 токенов стоит 8000 / 1 000 000 x $0,15 = $0,0012 за вход, плюс 600 / 1 000 000 x $0,50 = $0,0003 за выход. Это $0,0015 за запрос. Сто таких запросов в день в течение 30 дней — это 3000 запросов или $4,50 в месяц.

Минимальная сумма пополнения — $20, этого хватит на более чем четыре месяца использования, а баланс не сгорает. Бонусы начинаются от $50: +5%, затем +10% от $100 и +15% от $200. Можно оплатить криптовалютой (USDT в сети TRC20, USDC в сети Base). Таблица тарифов на странице тарифов.

Какие модели хорошо работают для кода

Если ваша цель — код, размер модели и обучающие данные важнее шага аблитерации. Большие модели пишут более надежный код, и им нужно больше памяти локально. Сравнение на лучших аблитерированных моделях для кода перечисляет, на что обращать внимание. При тестировании кандидатов давайте каждому те же пять-шесть задач из вашей реальной работы: исправление бага, короткая функция, рефакторинг, объяснение незнакомого кода. Сравнивайте результаты, а не маркетинг.

Размещённый вариант полезен как точка отсчёта. Сначала запустите набор задач через API, затем посмотрите, соответствует ли ему локальная модель, которую вы можете себе позволить.

Начните с самого дешевого теста

Прежде чем покупать оборудование или арендовать машину, потратьте несколько минут на API. Войдите через Google или по email и паролю, затем получите пробный баланс на странице API-ключей. Это $0,50, действует 7 дней, один на человека, карта не нужна. При стоимости $0,0015 за запрос это более 300 запросов.

Пробные ключи позволяют 2 параллельных запроса и 60 в минуту. Полные ключи — 8 и 300. При превышении лимита вы получаете HTTP 429 с rate_limited или concurrency, а также 429 с Retry-After: 5 при временной перегрузке. Для более широкого обзора моделей без отказов прочтите страницу о модели без фильтров.

API работает только с текстом и имеет жесткое правило: нет сексуального контента с участием несовершеннолетних.

Дополнительные руководства

• Abliterated Models Загрузка: безопасные источники и проверки
• Лучшие Abliterated Models для программирования: на что обратить внимание