Como executar Abliterated Models: local, nuvem ou API
Existem três maneiras de aprender a executar modelos abliterados: na sua própria máquina, em uma GPU alugada ou por meio de uma API hospedada. Elas trocam controle por esforço, e a escolha certa depende do seu hardware e de com que frequência você usará o modelo.
Atualizado
Escolha uma rota primeiro
| Local | GPU de nuvem alugada | API Hospedada | |
|---|---|---|---|
| Custo inicial | Hardware que você já pode possuir | Nenhum | Nenhum |
| Tempo de configuração | Uma noite | Uma noite, mais cuidado com servidor remoto | Minutos |
| Custo contínuo | Eletricidade | Por hora enquanto a máquina estiver ligada | Por token |
| Habilidade necessária | Moderada | Moderada a alta | Baixo |
| Privacidade | Mais alta | Depende do host | No lado do servidor; prompts não usados para treinamento |
Se você só quer respostas de um modelo que não recusa solicitações legais de adultos, a API é o caminho mais curto. Se quiser experimentar pesos, mesclar modelos ou rodar offline, vá para o local. A opção de GPU de nuvem se encaixa para quem precisa de um modelo grande por algumas horas e não quer comprar hardware.
Rota 1: executar localmente
Você precisa dos pesos em um formato que seu runtime carregue, e memória suficiente. A configuração mais comum é um arquivo GGUF com llama.cpp ou uma ferramenta baseada nele, como Ollama ou LM Studio.
- Estime a memória. Os pesos ocupam aproximadamente parâmetros x bits por peso / 8. Um modelo de 14B com 4 bits tem cerca de 7 GB. Adicione alguns gigabytes para o cache de contexto.
- Baixe um arquivo quantizado de uma fonte confiável. A página sobre o que é um modelo abliterado explica o que esses arquivos contêm.
- Inicie um servidor. Com llama.cpp o comando se parece com o abaixo.
- Aponte seu app para ele. O servidor expõe um endpoint estilo OpenAI, então qualquer cliente compatível conecta.
llama-server -m ./weights-Q4_K_M.gguf -c 8192 -ngl 99 --port 8080Aqui -c define o comprimento do contexto e -ngl 99 descarrega todas as camadas para a GPU se couberem. Diminua -ngl se ficar sem memória, e espere saída mais lenta se as camadas ficarem na CPU.
Problemas locais comuns são fáceis de reconhecer. Se o carregamento falhar com uma mensagem de falta de memória, escolha uma quantização menor ou reduza o comprimento da janela de contexto, já que o cache escala com ela. Se a saída estiver dolorosamente lenta, algumas camadas estão sendo executadas na CPU, então verifique quantas estão sendo descarregadas. Se as respostas começarem a repetir, reduza um pouco a temperatura e aumente a penalidade de repetição. E se o modelo responder em um formato estranho, o modelo de chat pode não corresponder ao que o modelo espera; a maioria dos runtimes permite defini-lo explicitamente.
Local é melhor quando privacidade e uso offline importam, ou quando você já possui uma placa com 16 GB ou mais de memória.
Rota 2: alugar uma GPU na nuvem
Serviços de aluguel permitem iniciar uma máquina com uma GPU grande e pagar por hora. Os passos correspondem à rota local, mas você os executa via SSH em uma máquina remota, e deve manter a máquina ligada enquanto a usa. Essa última parte é importante: você paga enquanto estiver ociosa, então pare-a quando terminar.
Uma sessão de aluguel típica funciona assim. Você escolhe uma máquina com memória GPU suficiente para seu modelo, inicia-a a partir de uma imagem pré-construída com drivers instalados, copia ou baixa os pesos, inicia o servidor e conecta via túnel SSH para que a porta nunca seja pública. Planeje vinte a trinta minutos apenas para downloads com um arquivo grande, e a cobrança geralmente ocorre durante esse tempo. Escreva os passos em um script uma vez, para que a próxima sessão inicie rapidamente.
Verifique os preços horários atuais no site do provedor, pois mudam frequentemente. Um aluguel faz sentido para um trabalho único, como executar um modelo grande através de um lote de documentos. Faz menos sentido para um chat que você abre algumas vezes ao dia, porque o medidor continua rodando entre sessões, e um volume de armazenamento persistente para os pesos geralmente é cobrado separadamente.
A segurança é sua responsabilidade. Não exponha o servidor do modelo à internet aberta sem autenticação, pois qualquer um que encontrar a porta pode usar seu tempo de GPU.
Rota 3: chame uma API hospedada
Este serviço oferece um modelo de pesos abertos, executado por um provedor independente e ajustado para responder sem recusas de conteúdo para uso adulto legal. O ID do modelo é uncensored. Não é uma API oficial de nenhum fornecedor de modelo nem um roteador entre vários. A URL base é https://api.abliteratedmodels.cc/v1.
from openai import OpenAI
client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[
{"role": "system", "content": "You are a candid technical assistant."},
{"role": "user", "content": "Explain TCP slow start in five sentences."},
],
temperature=0.7,
)
print(resp.choices[0].message.content)A mesma solicitação com curl:
curl https://api.abliteratedmodels.cc/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}],"stream":false}'Streaming, chamada de funções e modo JSON funcionam como na API OpenAI. Os detalhes estão na documentação.
Custo de cada rota, com os cálculos da API
Os custos locais e de aluguel dependem de preços que você deve consultar. O custo da API é simples de calcular. As taxas são $0,15 por 1M de tokens de entrada e $0,50 por 1M de tokens de saída.
Uma solicitação de assistente de codificação com 8.000 tokens de contexto e uma resposta de 600 tokens custa 8.000 / 1.000.000 x $0,15 = $0,0012 para entrada, mais 600 / 1.000.000 x $0,50 = $0,0003 para saída. Isso dá $0,0015 por solicitação. Cem dessas solicitações por dia durante 30 dias são 3.000 solicitações, ou $4,50 por mês.
O recarregamento mínimo é de $20, o que cobriria esse uso por mais de quatro meses, e o crédito nunca expira. Bônus aplicam a partir de $50: +5%, depois +10% a partir de $100 e +15% a partir de $200. Você pode pagar com cripto (USDT na TRC20, USDC na Base). Veja a página de preços para a tabela.
Quais modelos funcionam bem para codificação
Se o seu objetivo é código, o tamanho do modelo e os dados de treinamento importam mais que o passo de abliteração. Modelos maiores escrevem código mais confiável e precisam de mais memória local. A comparação em os melhores modelos abliterados para codificação lista o que observar. Ao testar candidatos, dê a cada um as mesmas cinco ou seis tarefas do seu trabalho real: correção de bug, função curta, refatoração, explicação de código desconhecido. Compare resultados, não marketing.
A opção hospedada é útil como linha de base. Execute seu conjunto de tarefas na API primeiro, depois veja se um modelo local que você pode pagar corresponde a ela.
Comece com o teste mais barato
Antes de comprar hardware ou alugar uma máquina, gaste alguns minutos na API. Crie sua conta com o Google, ou com e-mail e senha, depois solicite a avaliação na página da chave de API. São $0,50, válidos por 7 dias, um por pessoa, sem necessidade de cartão. A $0,0015 por solicitação, isso são mais de 300 solicitações.
Chaves de avaliação permitem 2 solicitações simultâneas e 60 por minuto. Chaves completas permitem 8 e 300. Se você exceder um limite, recebe HTTP 429 com rate_limited ou concurrency, e um 429 com Retry-After: 5 durante sobrecarga temporária. Para uma visão mais ampla de modelos sem recusa, leia a página sobre o modelo de IA sem filtros.
A API é apenas texto e tem uma regra rígida: sem conteúdo sexual envolvendo menores de idade.
Mais guias
Perguntas e respostas
Que GPU eu preciso para executar um modelo abliterado localmente?
Depende do tamanho do modelo. Um modelo de 14B com 4 bits precisa de cerca de 7 GB para pesos mais espaço de cache, enquanto um modelo de 70B com 4 bits precisa de cerca de 35 GB.
Posso rodar um em um laptop sem GPU?
Modelos quantizados pequenos rodam na CPU, lentamente. Para qualquer coisa maior, uma API hospedada evita o problema porque seu laptop apenas envia requisições.
O Ollama é suficiente?
Para muitas pessoas, sim. Ollama e LM Studio empacotam llama.cpp e carregam arquivos GGUF, então você pode servir um modelo localmente com pouca configuração.
Posso misturar uso local e de API?
Sim. Ambos podem expor um endpoint estilo OpenAI, então você alterna alterando a URL base, a chave e o nome do modelo.
Sua chave está a um formulário de distância
Crie uma conta, copie a chave e altere a URL base. Essa é toda a configuração.
