Cómo ejecutar Abliterated Models: local, en la nube o por API

Elige una ruta primero

	Local	GPU en la nube alquilada	API alojada
Coste inicial	Hardware que ya podrías poseer	Ninguna	Ninguna
Tiempo de configuración	Una noche	Una noche, más gestión del servidor remoto	Minutos
Costo continuo	Electricidad	Por hora mientras la máquina está en marcha	Por token
Habilidad necesaria	Moderada	Moderada a alta	Bajo
Privacidad	La más alta	Depende del host	Lado del servidor; los prompts no se usan para entrenamiento

Si solo quieres respuestas de un modelo que no rechaza peticiones adultas legales, la API es el camino más corto. Si quieres experimentar con pesos, fusionar modelos o ejecutar localmente, ve a local. La opción de GPU en la nube se adapta a personas que necesitan un modelo grande durante unas pocas horas y no quieren comprar hardware.

Ruta 1: ejecutarlo localmente

Necesitas los pesos en un formato que tu runtime cargue, y suficiente memoria. La configuración más común es un archivo GGUF con llama.cpp o una herramienta basada en él, como Ollama o LM Studio.

1. Estima la memoria necesaria. Los pesos ocupan aproximadamente parámetros x bits por peso / 8. Un modelo de 14B a 4 bits ocupa alrededor de 7 GB. Añade unos gigabytes para la ventana de contexto.
2. Descarga un archivo cuantizado de una fuente de confianza. La página sobre qué es un modelo abliterado explica qué contienen estos archivos.
3. Inicia un servidor. Con llama.cpp el comando se parece al de abajo.
4. Configura tu app para que apunte a esto. El servidor expone un endpoint estilo OpenAI, así que cualquier cliente compatible se conecta.

Copyllama-server -m ./weights-Q4_K_M.gguf -c 8192 -ngl 99 --port 8080

Aquí -c establece la longitud del contexto y -ngl 99 descarga todas las capas a la GPU si caben. Reduce -ngl si te quedas sin memoria, y espera una salida más lenta cuando las capas permanezcan en la CPU.

Los problemas locales comunes son fáciles de reconocer. Si la carga falla con un mensaje de falta de memoria, elige una cuantización más pequeña o reduce la longitud de contexto, ya que la caché escala con ella. Si la salida es dolorosamente lenta, algunas capas se están ejecutando en la CPU, así que comprueba cuántas están descargadas. Si las respuestas derivan en repetición, reduce un poco la temperatura y aumenta la penalización por repetición. Y si el modelo responde en un formato extraño, la plantilla de chat puede no coincidir con la que espera el modelo; la mayoría de los runtimes te permiten establecerla explícitamente.

Local es mejor cuando importan la privacidad y el uso sin conexión, o cuando ya tienes una tarjeta con 16 GB o más de memoria.

Ruta 2: alquilar una GPU en la nube

Los servicios de alquiler te permiten iniciar una máquina con una GPU grande y pagar por hora. Los pasos coinciden con la ruta local, pero los haces por SSH en una máquina remota, y debes mantener la máquina en marcha mientras la usas. Esta última parte es importante: pagas mientras está inactiva, así que deténla cuando termines.

Una sesión de alquiler típica va así. Eliges una máquina con suficiente memoria GPU para tu modelo, la inicias desde una imagen preconstruida que ya tiene los controladores instalados, copias o descargas los pesos, lanzas el servidor y te conectas a través de un túnel SSH para que el puerto nunca sea público. Planifica veinte a treinta minutos solo para descargas con un archivo grande, y la facturación suele correr durante ese tiempo. Escribe los pasos en un script una vez, para que la próxima sesión inicie rápidamente.

Comprueba los precios por hora actuales en el sitio del proveedor, ya que cambian a menudo. Un alquiler tiene sentido para un trabajo único como ejecutar un modelo grande a través de un lote de documentos. Tiene menos sentido para un chat que abres unas pocas veces al día, porque el contador sigue corriendo entre sesiones, y un volumen de almacenamiento persistente para los pesos suele facturarse por separado.

La seguridad es tu responsabilidad. No expongas el servidor del modelo a internet abierto sin autenticación, porque cualquiera que encuentre el puerto puede usar tu tiempo de GPU.

Ruta 3: llamar a una API alojada

Este servicio te ofrece un modelo de pesos abiertos, ejecutado por un proveedor independiente y ajustado para responder sin rechazos de contenido para uso adulto legal. El ID del modelo es uncensored. No es una API oficial de ningún proveedor de modelos ni un enrutador entre varios. La URL base es https://api.abliteratedmodels.cc/v1.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.abliteratedmodels.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a candid technical assistant."},
        {"role": "user", "content": "Explain TCP slow start in five sentences."},
    ],
    temperature=0.7,
)
print(resp.choices[0].message.content)

La misma petición con curl:

Copycurl https://api.abliteratedmodels.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}],"stream":false}'

Streaming, llamadas a funciones y modo JSON funcionan como en la API de OpenAI. Los detalles están en la documentación.

Coste de cada ruta, con las matemáticas de la API

Los costes locales y de alquiler dependen de precios que debes buscar tú mismo. El coste de la API es simple de calcular. Las tarifas son $0,15 por cada 1M de tokens de entrada y $0,50 por cada 1M de tokens de salida.

Una petición de asistente de código con 8.000 tokens de contexto y una respuesta de 600 tokens cuesta 8.000 / 1.000.000 x $0,15 = $0,0012 para input, más 600 / 1.000.000 x $0,50 = $0,0003 para output. Eso son $0,0015 por petición. Cien de esas peticiones al día durante 30 días son 3.000 peticiones, o $4,50 al mes.

La recarga mínima es de $20, lo que cubriría ese uso durante más de cuatro meses, y el crédito no caduca. Los bonos aplican desde $50: +5%, luego +10% desde $100 y +15% desde $200. Puedes pagar con cripto (USDT en TRC20, USDC en Base). Consulta la página de precios para ver la tabla.

¿Qué modelos funcionan bien para codificación?

Si tu objetivo es el código, el tamaño del modelo y los datos de entrenamiento importan más que el paso de abliteración. Los modelos más grandes escriben código más fiable y necesitan más memoria local. La comparación en los mejores modelos abliterados para programación lista qué observar. Cuando pruebes candidatos, dales las mismas cinco o seis tareas de tu trabajo real: una corrección de error, una función corta, una refactorización, una explicación de código desconocido. Compara resultados, no marketing.

La opción alojada es útil como línea base. Ejecuta tu conjunto de tareas contra la API primero, luego ve si un modelo local que puedas permitirte coincide con ella.

Empieza con la prueba más barata

Antes de comprar hardware o alquilar una máquina, dedica unos minutos a la API. Inicia sesión con Google, o con correo electrónico y contraseña, luego reclama la prueba en la página de clave de API. Son $0,50, válidos durante 7 días, uno por persona, y no necesitan tarjeta. A $0,0015 por petición, son más de 300 peticiones.

Las claves de prueba permiten 2 peticiones simultáneas y 60 por minuto. Las claves completas permiten 8 y 300. Si excedes un límite, obtienes HTTP 429 con rate_limited o concurrency, y un 429 con Retry-After: 5 durante sobrecarga temporal. Para una visión más amplia de los modelos sin rechazos, lee la página sobre el modelo de IA sin filtros.

La API es solo texto y tiene una regla estricta: no contenido sexual que involucre menores de edad.

Más guías

• Descarga de modelos abliterados: fuentes seguras y verificaciones
• Mejores modelos abliterados para programación: qué buscar