Abliterated Models Download: Fontes seguras e verificações

Onde as pessoas geralmente fazem download

A maioria dos pesos ablatados é publicada no Hugging Face, o principal hub público para modelos de pesos abertos, seja como checkpoints de precisão total ou como arquivos GGUF quantizados para llama.cpp, Ollama e LM Studio. Alguns uploaders também compartilham arquivos em torrents ou serviços de hospedagem de arquivos. Trate esses com mais cautela, porque você perde a página do modelo, o histórico de versões e os comentários da comunidade que ajudam a avaliar um lançamento.

Um repositório com um histórico longo, um cartão do modelo claro e threads de discussão onde outras pessoas relatam como ele se comporta é um sinal melhor do que uma conta nova com um único upload e sem descrição. Você pode ler mais sobre a técnica no nosso explicador sobre o que é um modelo ablatado.

O formato do arquivo determina o risco

O formato é mais importante do que a maioria das pessoas espera.

• safetensors. Armazena tensores puros e não pode executar código quando carregado. Esta é a escolha mais segura para pesos de precisão completa.
• GGUF. Um formato para pesos quantizados usado pelo llama.cpp e ferramentas baseadas nele. É apenas dados, não código executável, e é a escolha usual para chat local.
• Arquivos baseados em Pickle (.bin, .pt, .ckpt). Carregar esses com ferramentas Python comuns pode executar código arbitrário embutido no arquivo. Evite-os de fontes desconhecidas ou carregue-os apenas em uma sandbox.

Se um repositório oferece apenas arquivos pickle e você não consegue encontrar uma versão safetensors ou GGUF, essa é uma razão para procurar em outro lugar. Também tenha cuidado com qualquer repositório que envie um script de carregador Python personalizado junto com os pesos. Leia esse script antes de executá-lo ou não o execute.

Uma lista de verificação antes de baixar

1. Leia o cartão do modelo. Ele deve nomear o modelo base, o método usado para remover recusas e o nível de quantização. Um cartão que não diz nada é um sinal de alerta.
2. Verifique a licença. A cópia abliterada herda os termos do modelo base. Algumas licenças restringem o uso comercial ou exigem atribuição. Se você planeja criar um produto, leia-as primeiro.
3. Compare o nome do modelo base com o lançamento oficial. Um uploader copista pode anexar um nome popular a um arquivo diferente.
4. Olhe para a lista de arquivos e tamanhos. Eles devem corresponder à contagem de parâmetros e à quantização. Um arquivo Q4 de 7B com 400 MB ou um arquivo de 70B com 4 GB está errado.
5. Procure um checksum publicado e verifique-o após o download.
6. Leia rapidamente a aba da comunidade para relatos de saída quebrada, repetição ou comportamento oculto.

Calcule o tamanho do download primeiro

O tamanho aproximado do arquivo é parâmetros x bits por peso / 8. Estes são apenas os pesos, e os arquivos reais são ligeiramente maiores.

Parâmetros	16 bits	8 bits	4 bits
7B	14 GB	7 GB	3,5 GB
13B	26 GB	13 GB	6,5 GB
34B	68 GB	34 GB	17 GB
70B	140 GB	70 GB	35 GB

Você também precisa de disco livre para o download e, se você converter ou quantizar sozinho, para os arquivos intermediários. Ficar sem espaço no meio de uma transferência de 70 GB é um incômodo comum. Memória para executar o arquivo é uma questão separada: os pesos precisam caber na GPU ou memória unificada, com espaço extra para o cache de contexto.

Verifique o arquivo após a chegada

Baixe em sua própria pasta vazia, mantenha seus scripts em outro lugar e verifique o hash antes de carregar o arquivo.

Copyhuggingface-cli download some-user/some-repo-GGUF file-Q4_K_M.gguf --local-dir ./incoming
cd incoming
shasum -a 256 file-Q4_K_M.gguf
# compare the output with the checksum shown on the repository page

Se quem faz upload não publicar uma soma de verificação, o hash apenas prova que o arquivo não foi corrompido durante o trânsito, não que é o que o autor pretendia. Para qualquer coisa em que você planeje depender, prefira quem faz upload cujos arquivos também sejam espelhados ou discutidos por outras pessoas. Carregue novos arquivos primeiro em uma máquina sem acesso a dados sensíveis.

Mantenha uma nota do que você baixou: o nome do repositório, a data, o nome do arquivo e o hash. Quando uma edição melhor aparecer um mês depois, você vai querer comparar os dois nos mesmos prompts, e vai querer saber exatamente qual arquivo você testou primeiro.

Finalmente, teste o comportamento. Execute dez a vinte prompts do seu trabalho real e leia as saídas. Um arquivo pode estar intacto e ainda ser uma edição ruim: respostas incoerentes, repetição constante ou recusas que não foram totalmente removidas.

Sinais de alerta que devem pará-lo

Alguns sinais são suficientes para ir embora sem análise adicional.

• O repositório pede para você desativar a verificação de segurança, executar um instalador ou colar um comando em um terminal como root.
• O link de download aponta para um host de arquivos que não é a página do repositório, ou a página diz para desativar seu antivírus.
• O cartão do modelo promete "100% sem censura, zero perda" ou qualquer outra afirmação que não pode ser verdadeira de uma edição de pesos. Toda edição tem uma compensação, e os cartões honestos dizem isso.
• Novos uploads de um lançamento conhecido sob um novo nome, com um tamanho de arquivo diferente do original.
• Sem texto de licença em tudo, para um modelo base que é conhecido por ter um.

Mesmo com sinais limpos, execute novos arquivos com o mínimo de acesso que você puder conceder a eles. Um GGUF aberto por uma versão atual de um runtime mainstream tem pouco risco de execução de código, mas os runtimes tiveram bugs, então mantenha-os atualizados. Se algo parecer errado, exclua o arquivo e escolha outra fonte. Baixar novamente custa minutos; recuperar-se de um arquivo ruim em uma máquina que contém seu trabalho não.

Quando um endpoint hospedado economiza tempo

Baixar faz sentido quando você quer uso offline, controle total sobre quantização, ou planeja mesclar e experimentar. Se você só quer um modelo que responda sem recusas de conteúdo para uso adulto legal, uma API hospedada economiza o download, o armazenamento, a verificação e o planejamento de memória.

Este serviço serve um modelo de pesos abertos, executado por um provedor independente, sob o ID uncensored. Não é um espelho da API oficial de qualquer fornecedor. Você o chama como o OpenAI:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "List five checks for a downloaded file."}],
)
print(r.choices[0].message.content)

A janela de contexto é de 100.000 tokens. Streaming, chamada de ferramentas e modo JSON são suportados, e os prompts não são usados para treinamento. Parâmetros e limites estão na página de documentação.

O que a API custa contra um download

Não há custo de download, mas você paga por token: $0,15 por 1M de entrada e $0,50 por 1M de saída. Uma solicitação com 4.000 tokens de entrada e 800 tokens de saída custa 4.000 / 1.000.000 x $0,15 = $0,0006 mais 800 / 1.000.000 x $0,50 = $0,0004, então $0,001. Mil desses custam $1.

O recarregamento mínimo é de $20, com +5% a partir de $50, +10% a partir de $100 e +15% a partir de $200. Pague com cripto. Veja preços para detalhes. Para testar sem pagamento, reivindique a trial de $0,50 na página da chave de API após o cadastro; ela é válida por 7 dias. Para uso específico de codificação, a página sobre modelos ablatados para codificação compara o que procurar.

Mais guias

• Como executar Abliterated Models: Local, nuvem ou API
• Melhor Abliterated Models para Programação: O Que Procurar