mysnipbox
← 전체 글

Ollama와 내 GPU로 AI 프롬프트를 로컬에서 역공학하는 방법 (API 비용 없이)

2026년 10월 23일 게시 · 읽는 데 5분

멋진 미드저니나 Flux 결과물을 보고 "어떤 스타일 토큰과 조명, 카메라 앵글로 만든 걸까?" 하고 궁금했던 적 있으시죠.

요즘 가장 흔한 방법은 이미지를 클라우드 멀티모달 LLM(GPT-4o, Claude 3.5 Sonnet 등)에 넣는 거예요. 하지만 수백 장을 보관하거나 전문적인 프롬프트 라이브러리를 만들고 있다면 API 호출 비용이 금세 쌓이고, 소중한 콘셉트가 남의 서버로 넘어가기도 합니다.

이미 쓸 만한 GPU(RTX 3060, 4070, 4090 또는 Apple Silicon Mac)가 있다면 API 비용 없이, 오프라인으로, 호출 제한 없이 로컬 비전 모델을 돌릴 수 있어요.

로컬에서 프롬프트를 역공학하고 이를 로컬 우선 워크플로에 연결하는 과정을 단계별로 정리했습니다.

프롬프트를 "원자 토큰"으로 분해하는 이유

디스코드나 Civitai에서 복사한 프롬프트는 보통 뒤죽박죽이에요.

원본 프롬프트

ultra-detailed cinematic shot of an astronaut in a cybernetic jungle, octane render, volumetric lighting, Hasselblad 80mm, f/1.8, artgerm style --ar 16:9 --v 6.1

이 문자열을 통째로 메모에 저장하면 다시 쓰기가 어렵습니다. 하지만 분해해서 모듈 단위로 나누면 달라져요.

  • 주체 토큰: astronaut exploring cybernetic biome
  • 조명 토큰: volumetric rim lighting, subtle bioluminescence
  • 광학 토큰: Hasselblad 80mm lens, shallow depth of field, f/1.8
  • 아트 디렉션 토큰: hyper-detailed hard surface textures, octane render aesthetic

이제 조합해서 쓸 수 있는 팔레트가 생겼어요. 우주비행사를 빈티지 스포츠카로 바꿔도 같은 광학·조명 느낌을 그대로 가져갈 수 있습니다.

1단계: Ollama와 비전 모델 준비하기

로컬 비전 모델을 가장 쉽게 돌리는 방법은 Ollama예요.

1. Ollama 설치

공식 사이트에서 macOS 또는 Windows용 설치 파일을 받아 설치하세요. 설치 방법과 데스크톱 앱에 필요한 환경 변수 한 가지는 Ollama 설치 및 연동 가이드에 정리해 두었어요.

2. 가벼운 비전 모델 내려받기

터미널이나 명령 프롬프트를 열고 실행합니다.

shell
# 속도와 정확도의 균형 (메모리는 대략 16GB 정도 권장)
ollama run minicpm-v

# 8GB 컴퓨터를 위한 더 가벼운 선택
ollama run qwen2.5vl:3b

# 폭넓은 객체 인식에는 LLaVA
ollama run llava:7b

내려받고 나면 Ollama가 http://localhost:11434에 로컬 REST API를 열어 줍니다. 내 사양에 맞는 모델이 궁금하다면 로컬 모델 (Ollama)에서 용량과 필요한 메모리를 확인하세요.

2단계: 분해에 알맞은 비전 프롬프트

로컬 비전 모델에 이미지를 보낼 때 "이 이미지를 설명해 줘"라고만 묻지 마세요. 일반적인 설명은 시적인 문장만 나오고 프롬프트로 쓸 만한 표현은 얻기 어렵습니다.

이미지 생성 파라미터에 맞춘 추출용 프롬프트를 사용해 보세요.

prompt
Act as an AI prompt engineer specializing in Midjourney and Flux.
Analyze this image and break it down into four distinct categories:
1. Subject & Pose (Exact subject, action, framing)
2. Medium & Art Style (Digital illustration, 35mm film, octane render, etc.)
3. Lighting & Palette (Key light, ambient tones, color grading)
4. Camera & Composition (Focal length, angle, depth of field)

Format the output strictly as comma-separated atomic keywords ready for prompt concatenation.

3단계: mysnipbox로 워크플로 자동화하기

명령어를 실행하고 응답을 텍스트 파일에 붙여넣는 일은 이미지 서너 장만 넘어가도 번거로워져요. 그래서 AI 크리에이터를 위한 로컬 우선 데스크톱 작업대, mysnipbox를 만들었습니다.

  • 로컬 AI 연동: mysnipbox를 내 Ollama 주소(http://localhost:11434)에 연결하면 이미지를 내 컴퓨터에서 분석하고, 시각 요소를 나눠 토큰 카테고리에 자동으로 채워 줘요.
  • 클라우드 API 대체: 데스크톱을 떠나 있을 때는 내 Gemini, OpenAI, Anthropic API 키로 바꿔 쓸 수 있고 작업 흐름은 그대로입니다.
  • 로컬 소유: 토큰, 원본 이미지, 메타데이터가 서드파티 SaaS 서버가 아니라 내 드라이브에 남습니다. (클라우드 프로바이더로 분석한 이미지는 해당 프로바이더로 전송돼요.)
  • 구독 없음: 한 번 결제하면 계속 쓸 수 있어요.
앱에서는 설정 가이드로 Ollama를 연결한 뒤 검증된 비전 모델을 고릅니다. 용량과 권장 메모리는 앱에 표시되는 값 그대로예요.

정리: 나만의 프라이빗 프롬프트 보관함 만들기

멋진 프롬프트 공식이 디스코드 스크롤 속으로 사라지게 두지 마세요. 로컬 비전 모델과 전용 정리 도구를 함께 쓰면 흩어진 결과물이 내가 직접 소유하는 프롬프트 라이브러리로 바뀝니다.

프롬프트 분해를 더 편하게 하고 싶다면 macOS·Windows용 mysnipbox 다운로드에서 시작해 보세요.