mysnipbox

모델 & 환경 설정

로컬 모델 (Ollama)

내 컴퓨터, 원격 Ollama 서버, 자체 GPU 서버에서 비전·텍스트 모델을 실행하는 방법과, 현실적으로 필요한 사양을 안내합니다.

로컬 모델은 Ollama를 통해 내 컴퓨터에서 직접 실행되기 때문에 이미지가 기기 밖으로 나가지 않습니다. 개인정보 면에서는 좋은 선택이지만, 사양 요구가 만만치 않으니 시작하기 전에 아래 안내를 꼭 확인하세요.

사양 가이드 (대략적인 기준)

환경예상 경험
통합 메모리 32GB 이상, 또는 VRAM 약 16GB 이상의 GPU권장: 중간 크기 비전 모델로 괜찮은 품질과 쓸 만한 속도를 기대할 수 있어요.
RAM 16GB / VRAM 약 8GB 이하실험적: 작은 모델만 가능하고, 느리고 정확도도 떨어집니다.
CPU만 사용비권장: 매우 느립니다.

실제로 필요한 사양은 모델에 따라 달라집니다. 아래는 대략적인 기준이에요.

1. Ollama 설치

  1. 1ollama.com/download에서 macOS 또는 Windows용 설치 파일을 받아 실행합니다.
  2. 2터미널에서 ollama --version을 입력해 정상 설치됐는지 확인합니다.
  3. 3Ollama는 백그라운드에서 http://localhost:11434 로컬 서버를 실행합니다. mysnipbox가 연결하는 주소가 바로 이거예요.

2. 모델 고르고 내려받기

mysnipbox는 역할이 다른 두 종류의 모델을 쓰며, 각각 따로 지정할 수 있어요.

  • 비전 모델: 이미지를 보고 내용을 분석합니다. 메모리를 가장 많이 씁니다. 아래 검증 목록에서 고르세요.
  • 텍스트 모델: 태그 번역과 임베딩(태그 매칭)을 맡으며 훨씬 가볍습니다. 번역 모델은 두 번째 목록에서 고르고, 임베딩에는 nomic-embed-text를 쓸 수 있어요.

검증된 비전 모델

앱의 모델 선택 화면에 실제로 들어 있는 비전 모델 4종입니다.

모델명용량최소 권장 메모리특징 / 용도Ollama 실행 명령어
Moondream~2.0 GB8GB RAM초경량. 저사양 환경에서도 빠르게 태그를 뽑아요.ollama run moondream
Qwen2.5-VL 3B~3.2 GB8GB RAM / VRAM일상적인 노트북에서 돌리기 좋은 경량 비전 모델이에요.ollama run qwen2.5vl:3b
MiniCPM-V 2.6 (8B)~5.5 GB16GB+ RAM권장: 속도와 분석 품질의 균형이 가장 좋아요.ollama run minicpm-v:latest
Llama 3.2 Vision (11B)~7.9 GB+24GB~32GB+ RAM메모리가 넉넉한 환경에서 쓰는 고품질 심층 분석 모델이에요.ollama run llama3.2-vision

태그 번역용 모델

태그를 로컬에서 번역하려면 가벼운 텍스트 모델이면 충분해요. 필요한 언어에 맞춰 고르세요.

모델명용량최소 권장 메모리특징 / 용도Ollama 실행 명령어
Qwen2.5 (3B)~2.0 GB8GB RAM한·중·일 번역 추천. 아시아권 언어 어휘를 잘 살리고 태그 번역이 매우 빨라요.ollama run qwen2.5:3b
Llama 3.2 (3B)~2.0 GB8GB RAM영어·유럽어 번역 추천. 스페인어, 포르투갈어 등 서구권 언어 태그 변환에 가장 잘 맞아요.ollama run llama3.2:3b
Gemma 2 (2B)~1.6 GB8GB RAM저사양용 초경량 모델. 메모리를 적게 써서 비전 모델과 함께 돌려도 부담이 적어요.ollama run gemma2:2b

3. mysnipbox에 연결

  1. 1Ollama가 실행 중인지 확인합니다(메뉴 막대/트레이 아이콘 또는 ollama serve).
  2. 2mysnipbox 설정을 열고 프로바이더로 Ollama를 선택합니다.
  3. 3기본 주소 http://localhost:11434는 그대로 두고, 비전 모델과 텍스트 모델을 각각 고릅니다.
  4. 4테스트 이미지를 분석해 보세요. 모델이 메모리에 올라가는 동안 첫 요청은 더 오래 걸립니다.

원격 Ollama 서버에 연결하기

Ollama가 꼭 같은 컴퓨터에서 돌 필요는 없어요. 집 안의 고사양 PC, 홈 서버, 클라우드 GPU(예: RunPod)를 대신 쓸 수 있습니다.

  1. 1mysnipbox 설정을 열고 프로바이더로 Ollama를 선택합니다.
  2. 2Base URL 필드의 http://localhost:11434를 서버 주소인 http://<서버IP>:11434로 바꿉니다.
  3. 3서버에서는 Ollama를 켜기 전에 외부 접속을 허용하고(아래 환경변수 참고), 그 서버에서 모델을 내려받습니다.
shell (server)
OLLAMA_HOST=0.0.0.0 OLLAMA_ORIGINS="*" ollama serve

OLLAMA_HOST=0.0.0.0은 모든 네트워크 인터페이스에서 접속을 받게 하고, OLLAMA_ORIGINS="*"는 모든 출처의 요청을 허용합니다. Ollama를 백그라운드 앱이나 서비스로 실행 중이라면 그 서비스의 환경변수로 설정한 뒤 다시 시작하세요.

자체 GPU 서버: Custom (OpenAI 호환)

vLLM, LMDeploy, LocalAI처럼 OpenAI API 방식을 지원하는 엔진으로 자체 GPU 서버를 운영한다면 Custom 프로바이더로 연결할 수 있어요.

  1. 1mysnipbox 설정을 열고 프로바이더로 Custom (OpenAI-compatible)를 선택합니다.
  2. 2아래 세 가지 항목을 입력합니다.
  3. 3테스트 이미지를 분석해 서버가 응답하는지 확인하세요.
항목입력할 내용
Base URL자체 서버의 OpenAI 호환 주소입니다. 예: http://<GPU-IP>:8000/v1
API Key서버가 인증을 요구할 때만 입력합니다. 내 컴퓨터나 사설망에서 인증 없이 돌리는 서버라면 비워 둬도 돼요.
Model Name서버에서 서빙 중인 비전 모델 이름을 직접 입력합니다. 예: Qwen/Qwen2.5-VL-7B-Instruct

문제 해결

  • 연결이 거부됨: Ollama가 실행 중이 아닙니다. 앱을 켜거나 ollama serve를 실행하세요.
  • 모델을 찾을 수 없음: 먼저 ollama pull <모델명>으로 내려받으세요. 이름이 정확히 같아야 합니다.
  • 너무 느리거나 멈춤: 모델이 메모리보다 큽니다. 더 작은 모델을 쓰거나, 다른 무거운 앱을 끄거나, 클라우드 프로바이더를 사용하세요.
  • ollama ps를 실행하면 현재 올라간 모델과 메모리 사용량을 볼 수 있어요.