Abliterated Models Descarga: fuentes seguras y verificaciones

De dónde suele descargarse la gente

La mayoría de los pesos abliterados se publican en Hugging Face, el principal repositorio público para modelos de pesos abiertos, ya sea como checkpoints de precisión completa o como archivos GGUF cuantizados para llama.cpp, Ollama y LM Studio. Algunos quienes suben también comparten archivos en torrents o en servicios de alojamiento de archivos. Trata esos con más precaución, porque pierdes la página del modelo, el historial de versiones y los comentarios de la comunidad que te ayudan a evaluar una publicación.

Un repositorio con una larga historia, una ficha de modelo clara e hilos de discusión donde otras personas reportan su comportamiento es una señal mejor que una cuenta nueva con una sola subida y sin descripción. Puedes leer más sobre la técnica en nuestro artículo explicativo sobre qué es un modelo abliterado.

El formato de archivo decide cuánto riesgo asumes

El formato importa más de lo que la mayoría de la gente espera.

• safetensors. Almacena tensores planos y no puede ejecutar código al cargarse. Esta es la opción más segura para pesos de precisión completa.
• GGUF. Un formato para pesos cuantizados utilizado por llama.cpp y herramientas basadas en él. Es también datos, no código ejecutable, y es la opción habitual para chat local.
• Archivos basados en pickle (.bin, .pt, .ckpt). Cargarlos con herramientas Python comunes puede ejecutar código arbitrario incrustado en el archivo. Evítalos de fuentes desconocidas, o cárgalos solo en un sandbox.

Si un repositorio solo ofrece archivos pickle y no puedes encontrar una versión safetensors o GGUF, esa es una razón para buscar en otro lugar. También ten cuidado con cualquier repositorio que incluya un script de carga Python personalizado junto con los pesos. Lee ese script antes de ejecutarlo, o no lo ejecutes.

Una lista de verificación antes de descargar

1. Lee la ficha del modelo. Debería nombrar el modelo base, el método utilizado para eliminar los rechazos y el nivel de cuantización. Una ficha que no dice nada es una señal de alerta.
2. Verifica la licencia. La copia ablitada hereda los términos del modelo base. Algunas licencias restringen el uso comercial o requieren atribución. Si planeas construir un producto, léelas primero.
3. Compara el nombre del modelo base con el lanzamiento oficial. Un subidor imitador puede adjuntar un nombre popular a un archivo diferente.
4. Mira la lista de archivos y tamaños. Deberían coincidir con el recuento de parámetros y la cuantización. Un archivo de 7B Q4 que mida 400 MB, o un archivo de 70B que mida 4 GB, está mal.
5. Busca una suma de verificación publicada y verifícala después de la descarga.
6. Lee rápidamente la pestaña de la comunidad para buscar informes de salida defectuosa, repeticiones o comportamiento oculto.

Calcula el tamaño de descarga primero

El tamaño aproximado del archivo es parámetros x bits por parámetro / 8. Estos son solo los parámetros, y los archivos reales son ligeramente más grandes.

Parámetros	16 bits	8 bits	4 bits
7B	14 GB	7 GB	3.5 GB
13B	26 GB	13 GB	6,5 GB
34B	68 GB	34 GB	17 GB
70B	140 GB	70 GB	35 GB

También necesitas espacio libre en disco para la descarga y, si cuantificas por tu cuenta, para los archivos intermedios. Quedarse sin espacio a mitad de una transferencia de 70 GB es una molestia común. La memoria para ejecutar el archivo es un tema aparte: los pesos deben caber en la GPU o en memoria unificada, con espacio extra para la caché de contexto.

Verifica el archivo después de su llegada

Descarga en su propia carpeta vacía, guarda tus scripts en otro lugar y verifica el hash antes de cargar el archivo.

Copyhuggingface-cli download some-user/some-repo-GGUF file-Q4_K_M.gguf --local-dir ./incoming
cd incoming
shasum -a 256 file-Q4_K_M.gguf
# compare the output with the checksum shown on the repository page

Si el que sube no publica una suma de verificación, el hash solo demuestra que el archivo no se corrompió durante la transmisión, no que sea lo que el autor pretendía. Para cualquier cosa de la que dependas, prefiere subidores cuyos archivos también estén espejados o discutidos por otras personas. Carga los archivos nuevos primero en una máquina sin acceso a datos sensibles.

Guarda una nota de lo que descargaste: el nombre del repositorio, la fecha, el nombre del archivo y el hash. Cuando aparezca una mejor edición un mes después, querrás comparar los dos en los mismos prompts, y querrás saber exactamente qué archivo probaste primero.

Finalmente, prueba el comportamiento. Ejecuta diez a veinte prompts de tu trabajo real y lee las salidas. Un archivo puede estar intacto y aún así ser una edición pobre: respuestas incoherentes, repeticiones constantes o rechazos que no se eliminaron por completo.

Banderas rojas que deberían detenerte

Algunas señales son suficientes para marcharte sin más análisis.

• El repositorio te pide que desactives el escaneo de seguridad, ejecutes un instalador o pegues un comando en una terminal como root.
• El enlace de descarga apunta a un servidor de archivos que no es la página del repositorio, o la página te dice que desactives tu antivirus.
• La ficha del modelo promete "100% sin censura, cero pérdida" o cualquier otra afirmación que no pueda ser cierta de una edición de pesos. Cada edición tiene un compromiso, y las fichas honestas lo dicen.
• Nuevas subidas de un lanzamiento conocido bajo un nuevo nombre, con un tamaño de archivo diferente al original.
• Sin texto de licencia en absoluto, para un modelo base que se sabe que tiene uno.

Incluso con señales limpias, ejecuta archivos nuevos con el menor acceso que puedas darles. Un GGUF abierto por una versión actual de un runtime principal conlleva poco riesgo de ejecución de código, pero los runtimes han tenido errores, así que mantenlos actualizados. Si algo parece incorrecto, elimina el archivo y elige otra fuente. Volver a descargar cuesta minutos; recuperarse de un archivo defectuoso en una máquina que contiene tu trabajo no.

Cuándo un endpoint alojado ahorra tiempo

Descargar tiene sentido cuando quieres uso sin conexión, control total sobre la cuantización, o planeas fusionar y experimentar. Si solo quieres un modelo que responda sin rechazos de contenido para uso adulto lícito, una API alojada ahorra la descarga, el almacenamiento, la verificación y la planificación de memoria.

Este servicio sirve un modelo de pesos abiertos, ejecutado por un proveedor independiente, bajo el ID uncensored. No es un espejo de la API oficial de ningún proveedor. Lo llamas como a OpenAI:

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "List five checks for a downloaded file."}],
)
print(r.choices[0].message.content)

La ventana de contexto es de 100.000 tokens. Se admite streaming, llamadas a funciones y modo JSON, y los prompts no se utilizan para el entrenamiento. Los parámetros y límites están en la página de documentación.

Lo que cuesta la API frente a una descarga

No hay costo de descarga, pero pagas por token: $0,15 por 1M de entrada y $0,50 por 1M de salida. Una petición con 4.000 tokens de entrada y 800 tokens de salida cuesta 4.000 / 1.000.000 x $0,15 = $0,0006 más 800 / 1.000.000 x $0,50 = $0,0004, es decir $0,001. Mil de esas cuestan $1.

La recarga mínima es de $20, con un +5% desde $50, +10% desde $100 y +15% desde $200. Paga con cripto. Consulta precios para más detalles. Para probar sin pago, reclama la prueba de $0,50 en la página de clave de API después del registro; es válida durante 7 días. Para uso específico de codificación, la página sobre modelos ablitados para codificación compara qué buscar.

Más guías

• Cómo ejecutar modelos abliterated: local, en la nube o API
• Mejores modelos abliterated para codificación: qué buscar