Лучшие аблитерированные модели для кодинга: на что обратить внимание

Что делает модель для кодинга хорошей после удаления отказов

Модель, которая никогда не отказывает, проста в создании. Модель, которая никогда не отказывает и при этом пишет правильный код, сложнее, потому что изменение, устраняющее отказы, может также притупить другие навыки модели. Поэтому полезный вопрос не в том, «какой список имён самый длинный», а в том, «какая сборка сохраняет способность к кодированию базовой модели в целости».

Это дает вам четыре вещи для проверки в порядке важности:

1. Точность в ваших задачах. Работает ли код, проходит ли ваши тесты и следует ли вашим соглашениям?
2. Следование инструкциям. Если вы просите только diff, вы получаете только diff? Он учитывает версию языка и библиотеку, которую вы указали?
3. Обработка контекста. Может ли он читать несколько больших файлов одновременно и отслеживать имена функций в них?
4. Частота отказов на тех промптах, которые вы действительно отправляете. Это причина, по которой стоит смотреть на аблитерированные модели, поэтому измеряйте её напрямую.

Будьте осторожны с любой страницей, которая ранжирует модели по одному показателю без отображения промптов. Лидерборд рассказывает о чужой рабочей нагрузке.

Где отказы вредят разработчикам

Большинство запросов на кодинг никогда не вызывают фильтр. Те, которые вызывают, имеют общую закономерность: код нейтрален, но тема кажется рискованной.

• Тестирование безопасности. Сканеры портов, фаззеры, эксплойты proof-of-concept для уязвимости, которую вы закрываете, или скрипт для проверки собственных серверов на слабые пароли.
• Реверс-инжиниринг. Объяснение дизассемблирования, распаковка запутанного скрипта, найденного на вашей машине, или изучение формата файла.
• Скрапинг и автоматизация. Ротация сессий, парсинг сайтов, которые не любят ботов, массовое заполнение форм для законной задачи.
• Анализ вредоносного ПО. Чтение образца для написания правил обнаружения означает обсуждение того, что он делает, построчно.
• Инструменты для работы с конфиденциальным текстом. Создание классификаторов или тестовых наборов для оскорбительного контента, где сами тестовые данные выглядят плохо.
• Инструментарий для игр и художественной литературы. Генерация диалогов, текста квестов или листов персонажей для историй для взрослых с тёмными темами.

В каждом случае отказ тратит вызов, а вежливая лекция об этике тратит токены, за которые вы платите. Модель без таких отказов экономит повторную попытку и перефразирование. Это причина хотеть одну, а не причина перестать думать: вы несете ответственность за то, что вы создаете и запускаете. Этот сервис предназначен для законного использования взрослыми.

Что дает этот API

Здесь вы не выбираете из каталога. API обслуживает одну модель с открытыми весами, запущенную независимым провайдером и настроенную на ответы без отказов по контенту. Это не официальный API какого-либо вендора моделей и не маршрутизатор между несколькими. Если ваш поиск модели для кодинга без цензуры заканчивается длинным списком моделей, между которыми вы хотите переключаться, это не такой сервис. Если он заканчивается «мне нужна одна способная модель без фильтра за эндпоинтом в стиле OpenAI», то это он.

Факты, важные для разработчиков:

• Окно контекста 100 000 токенов для промпта и завершения, достаточное для нескольких исходных файлов и длинного разговора.
• Потоковая передача по SSE, вызов функций и JSON-режим, все в формате OpenAI.
• temperature, top_p, stop, seed и штрафы передаются как есть.
• Полный ключ позволяет 8 одновременных запросов и 300 запросов в минуту.
• Только текст. Нет эмбеддингов, генерации изображений или дообучения.

В документации перечислены все параметры и заголовки ответа.

Запустите тест на кодинг за десять минут

Создайте небольшой набор тестов из работы, которую вы уже выполнили: пять-десять задач с известным хорошим ответом, например, баг, который вы исправили в прошлом месяце, функция с тестами и один промпт, который размещённая выровненная модель отклонила. Затем запустите их все через эндпоинт с низкой температурой, чтобы результаты были воспроизводимы.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.abliteratedmodels.cc/v1",
    api_key="YOUR_KEY",
)

SYSTEM = (
    "You are a senior engineer. Reply with code only, in one fenced block, "
    "then at most three lines of notes."
)

tasks = [
    "Write a Python function that parses a CIDR string and lists usable hosts.",
    "Write a Bash one-liner that finds open ports on 192.168.1.10 using only /dev/tcp.",
    "Explain what this regex does and where it backtracks badly: ^(a+)+$",
]

for prompt in tasks:
    r = client.chat.completions.create(
        model="uncensored",
        temperature=0.2,
        seed=7,
        messages=[
            {"role": "system", "content": SYSTEM},
            {"role": "user", "content": prompt},
        ],
    )
    print("=" * 60)
    print(prompt)
    print(r.choices[0].message.content)
    print("tokens:", r.usage.prompt_tokens, r.usage.completion_tokens)

Используйте те же промпты и seed при сравнении с чем-либо еще. Оценивайте каждый ответ, запуская его, а не читая. Если вы смотрите только на текст, уверенный неправильный ответ победит.

Использование внутри редактора и агентов

Поскольку эндпоинт использует протокол OpenAI, большинство инструментов для кодинга могут использовать его без плагина. В редакторах и агентах, принимающих пользовательский провайдер, совместимый с OpenAI, например Cline или Continue, установите базовый URL в https://api.abliteratedmodels.cc/v1, вставьте свой ключ и укажите uncensored в качестве имени модели. Проверьте страницу настроек каждого инструмента для точных имён полей, так как они меняются между релизами.

Для помощника командной строки aider установите эндпоинт через переменные окружения и добавьте префикс openai/ к модели:

Copyexport OPENAI_API_BASE=https://api.abliteratedmodels.cc/v1
export OPENAI_API_KEY=YOUR_KEY
aider --model openai/uncensored

Два параметра помогают с циклами агентов. Держите параллельные запросы на уровне 8 или ниже, так как девятый одновременный запрос возвращает HTTP 429 с кодом ошибки concurrency. И помните, что потоковый запрос удерживает слот параллельных запросов до конца потока, поэтому застрявший поток в одном инструменте может лишить ресурсов другой.

Привычки промптинга, улучшающие качество кода

Какую бы модель вы ни выбрали, то, как вы задаете вопрос, решает многое. Эти привычки становятся важнее, когда модель перестает отказывать, потому что она попытается ответить на всё, включая плохо описанные запросы.

• Укажите язык и версию. "Python 3.11, только стандартная библиотека" исключает целый класс неверных импортов.
• Сначала дайте интерфейс. Вставьте сигнатуру функции, типы и один пример вызова. Модель затем подстроит свой ответ под ваш код, а не изобретёт свою форму.
• Попросите diff или один файл. Свободные запросы дают длинные ответы, за которые вы платите токенами вывода по $0,50 за миллион.
• Держите температуру низкой для кода. Значение между 0 и 0,3 даёт более стабильный вывод. Добавьте seed, когда хотите воспроизвести результат.
• Используйте последовательности stop. Если вам нужен только блок кода, остановитесь на закрывающей строке блока кода, чтобы модель не добавляла комментарии.
• Отправьте вывод с ошибкой. Для бага включите трассировку и строки, на которые она указывает. Это лучше любого описания.

Короткое системное сообщение, которое указывает роль и формат вывода, как в примере выше, обычно делает больше, чем длинное. Поскольку системный текст оплачивается как ввод при каждом запросе, краткость также экономит деньги в течение долгой сессии.

Проверяйте ответ перед слиянием

Модель без отказов так же способна написать уверенный баг, как и выровненная. Запустите тесты. Прочитайте diff. Для кода, который касается секретов, разрешений, удаления файлов или сетевого доступа, проверяйте его дважды и запускайте сначала в песочнице или временном контейнере. Вы платите за токены в любом случае; проверка — это то, что защищает вашу систему.

Сколько стоит работа с кодом

Цены: $0,15 за миллион входных токенов и $0,50 за миллион выходных токенов, списываются с предоплаченного баланса. Задачи по кодингу требуют много ввода, так как вы отправляете код и получаете меньшее изменение, что соответствует этой структуре цен. Несколько примеров расчёта:

Задача	Входные токены	Выходные токены	Стоимость
Ревью одного файла на 8 000 токенов	8 000	1 000	$0,0012 + $0,0005 = $0,0017
Сгенерируйте функцию на 600 токенов	1 500	600	$0,000225 + $0,0003 = $0,000525
Заполните всё окно на 100 000 токенов, ответ на 2 000 токенов	98 000	2 000	$0,0147 + $0,001 = $0,0157

Агент, выполняющий 20 вызовов с контекстным окном в 50 000 токенов за раз, отправляет в общей сложности 1 000 000 входных токенов, что стоит $0,15, плюс, возможно, 10 000 выходных токенов по $0,005. Весь сеанс обходится примерно в $0,155. Тысяча проверок файлов размером с первую строку стоит $1,70. Стоимость экспериментов невелика; важнее то время, которое вы тратите на проверку результатов. Отклонённые или неудачные запросы не оплачиваются.

Полные детали, включая суммы пополнения от $20 до $500 и бонусы при $50, $100 и $200, находятся на странице с ценами.

Ограничения, которые вам следует знать перед тем, как принять решение

Будьте честны с собой насчёт того, для чего нужна модель без цензуры. Она не станет лучшим программистом, чем её базовая модель, а модель с меньшим количеством отказов может быть слишком сговорчивой: она с радостью сгенерирует небезопасный код или будет работать с неверным предположением. Проверяйте сгенерированный код так, как вы проверяли бы код от младшего коллеги, особенно всё, что касается аутентификации, удаления файлов или денег.

Также учитывайте ограничения сервиса. Тела запросов размером более 8 МБ отклоняются, а пробные ключи ограничены 2 параллельными запросами и 60 в минуту, чего достаточно для теста, но не для пакетной задачи. Когда вы видите HTTP 429 с заголовком Retry-After: 5, провайдер временно перегружен; подождите и повторите попытку. Связанная страница на стоимости и контроле LLM API без цензуры охватывает, как это соотносится с размещенными альтернативами.

Чтобы попробовать, получите пробный кредит $0,50 на странице API-ключа после регистрации. Для этого не нужна карта, срок действия 7 дней, и он ограничен одним на человека.

Дополнительные руководства

• Что такое аблитерированная модель? Простое объяснение
• LLM API без цензуры: анализ стоимости и контроля