Cómo hacer ingeniería inversa de prompts de IA en local, sin pagar APIs (con Ollama y tu GPU)

¿Alguna vez te has topado con una generación espectacular de Midjourney o Flux y te has preguntado: «¿Qué combinación de tokens de estilo, iluminación y ángulos de cámara creó esto?»

La respuesta habitual hoy es pasar esa imagen a un LLM multimodal en la nube (como GPT-4o o Claude 3.5 Sonnet). Pero si estás archivando cientos de generaciones o montando una biblioteca profesional de prompts, esas llamadas a la API se acumulan rápido, y tus conceptos acaban en servidores de otros.

Si ya tienes una GPU capaz (una RTX 3060, 4070 o 4090, o un Mac con Apple Silicon), puedes ejecutar modelos de visión locales sin coste de API, sin conexión y sin límites de uso.

Esta es una guía paso a paso para montar la ingeniería inversa de prompts en local e integrarla en un flujo de trabajo local first.

¿Por qué descomponer los prompts en «tokens atómicos»?

Los prompts copiados de Discord o Civitai suelen ser caóticos:

Si guardas toda la cadena como una nota estática, rara vez se puede reutilizar. Pero si la descompones en bloques modulares:

• Token de sujeto: astronaut exploring cybernetic biome
• Token de iluminación: volumetric rim lighting, subtle bioluminescence
• Token de óptica: Hasselblad 80mm lens, shallow depth of field, f/1.8
• Token de dirección de arte: hyper-detailed hard surface textures, octane render aesthetic

Ahora tienes una paleta combinable. Puedes cambiar el astronauta por un deportivo clásico manteniendo exactamente el mismo ADN óptico y de iluminación.

Paso 1: Prepara Ollama con un modelo de visión

La forma más rápida de servir modelos de visión locales es Ollama.

1. Instala Ollama

Descarga e instala el entorno para macOS o Windows desde el sitio oficial. Nuestra guía de configuración de Ollama explica la instalación y la única variable de entorno que necesitan las apps de escritorio.

2. Descarga un modelo de visión ligero

Abre la terminal o el símbolo del sistema y ejecuta:

# Equilibrio entre velocidad y precisión (cuenta con unos 16GB de memoria)
ollama run minicpm-v

# Una opción más ligera para equipos de 8GB
ollama run qwen2.5vl:3b

# O LLaVA para un reconocimiento de objetos amplio
ollama run llava:7b

Una vez descargado, Ollama expone una API REST local en http://localhost:11434. ¿No sabes qué modelo encaja con tu hardware? Consulta Modelos locales (Ollama) para ver tamaños y memoria necesaria.

Paso 2: El prompt de visión ideal para descomponer

Cuando envíes una imagen a un modelo de visión local, no te limites a pedir «Describe esta imagen». Las descripciones generales dan florituras poéticas, no una sintaxis de prompt utilizable.

Usa un prompt de extracción pensado para parámetros generativos:

Act as an AI prompt engineer specializing in Midjourney and Flux.
Analyze this image and break it down into four distinct categories:
1. Subject & Pose (Exact subject, action, framing)
2. Medium & Art Style (Digital illustration, 35mm film, octane render, etc.)
3. Lighting & Palette (Key light, ambient tones, color grading)
4. Camera & Composition (Focal length, angle, depth of field)

Format the output strictly as comma-separated atomic keywords ready for prompt concatenation.

Paso 3: Automatiza el flujo con mysnipbox

Ejecutar comandos y pegar respuestas en archivos de texto se vuelve pesado después de tres imágenes. Por eso creamos mysnipbox, un banco de trabajo de escritorio local first para creadores de IA.

• Integración nativa con IA local: conecta mysnipbox a tu endpoint local de Ollama (http://localhost:11434). Envía la imagen a tu propio equipo, analiza sus componentes visuales y rellena tus categorías de tokens automáticamente.
• Alternativa con API en la nube: ¿lejos de tu equipo de escritorio? Cambia a tu propia clave de Gemini, OpenAI o Anthropic sin modificar tu flujo de trabajo.
• Propiedad local: tus tokens, imágenes originales y metadatos se quedan en tu propio disco, no en un servidor SaaS de terceros. (Las imágenes que analizas con un proveedor en la nube se envían a ese proveedor.)
• Sin suscripción: pagas una vez y es tuyo.

Resumen: crea tu bóveda privada de prompts

Deja de permitir que fórmulas de prompts brillantes se pierdan en el historial de Discord. Al combinar modelos de visión locales con un organizador dedicado, conviertes generaciones sueltas en una biblioteca de prompts que de verdad es tuya.

¿Quieres agilizar la descomposición de tus prompts? Descarga mysnipbox para macOS y Windows y empieza hoy.