Ollamaと自分のGPUでAIプロンプトをローカルで逆引きする方法(API費用なし)
2026年10月23日 公開 · 読了目安 5分
息をのむようなMidjourneyやFluxの作品を見て、「どんなスタイルトークンと照明、カメラアングルで作られたのだろう?」と思ったことはありませんか。
今どきの定番は、その画像をクラウドのマルチモーダルLLM(GPT-4oやClaude 3.5 Sonnetなど)に入れる方法です。ただ、何百枚も保管したり、プロ向けのプロンプトライブラリを作ったりしていると、API呼び出しの費用がすぐにかさみますし、大切なコンセプトが他人のサーバーに渡ってしまいます。
すでに使えるGPU(RTX 3060、4070、4090、またはApple SiliconのMac)があるなら、API費用なし、オフラインで、回数制限なしにローカルのビジョンモデルを動かせます。
ローカルでプロンプトを逆引きし、ローカルファーストのワークフローにつなぐ手順を、順を追って紹介します。
プロンプトを「原子トークン」に分解する理由
DiscordやCivitaiからコピーしたプロンプトは、たいてい散らかっています。
ultra-detailed cinematic shot of an astronaut in a cybernetic jungle, octane render, volumetric lighting, Hasselblad 80mm, f/1.8, artgerm style --ar 16:9 --v 6.1
この文字列をそのままメモに保存しても、再利用はまずできません。でも分解して、モジュール単位のパーツに分ければ話は変わります。
- 被写体トークン:
astronaut exploring cybernetic biome - 照明トークン:
volumetric rim lighting, subtle bioluminescence - 光学トークン:
Hasselblad 80mm lens, shallow depth of field, f/1.8 - アートディレクショントークン:
hyper-detailed hard surface textures, octane render aesthetic
これで、組み合わせて使えるパレットができました。宇宙飛行士をビンテージのスポーツカーに替えても、同じ光学と照明のニュアンスをそのまま引き継げます。
ステップ1:Ollamaとビジョンモデルを用意する
ローカルのビジョンモデルを動かすいちばん手軽な方法はOllamaです。
1. Ollamaをインストールする
公式サイトからmacOSまたはWindows用のランタイムをダウンロードしてインストールします。インストール手順と、デスクトップアプリに必要な環境変数1つについては、Ollamaセットアップガイドで説明しています。
2. 軽量なビジョンモデルを取得する
ターミナル(またはコマンドプロンプト)を開いて実行します。
# 速度と精度のバランス(メモリは約16GBが目安)
ollama run minicpm-v
# 8GBのPC向けの、より軽い選択肢
ollama run qwen2.5vl:3b
# 幅広い物体認識にはLLaVA
ollama run llava:7b取得が終わると、Ollamaが http://localhost:11434 にローカルのREST APIを公開します。どのモデルが自分のPCに合うか迷ったら、サイズと必要なメモリをローカルモデル(Ollama)で確認してください。
ステップ2:分解に向いたビジョンプロンプト
ローカルのビジョンモデルに画像を送るとき、「この画像を説明して」と聞くだけではいけません。一般的な説明は詩的な文章になり、使えるプロンプト表現は得られません。
画像生成のパラメータに合わせた抽出用プロンプトを使いましょう。
Act as an AI prompt engineer specializing in Midjourney and Flux.
Analyze this image and break it down into four distinct categories:
1. Subject & Pose (Exact subject, action, framing)
2. Medium & Art Style (Digital illustration, 35mm film, octane render, etc.)
3. Lighting & Palette (Key light, ambient tones, color grading)
4. Camera & Composition (Focal length, angle, depth of field)
Format the output strictly as comma-separated atomic keywords ready for prompt concatenation.ステップ3:mysnipboxでワークフローを自動化する
コマンドを実行して、返ってきた内容をテキストファイルに貼り付ける作業は、画像が3枚を超えるとすぐ面倒になります。そこで、AIクリエイターのためのローカルファーストなデスクトップ作業台、mysnipboxを作りました。
- ローカルAIとの連携: mysnipboxを自分のOllamaのアドレス(
http://localhost:11434)につなぐと、画像を自分のPCで分析し、視覚要素を分けてトークンカテゴリに自動で振り分けます。 - クラウドAPIへの切り替え: デスクトップを離れているときは、自分のGemini・OpenAI・AnthropicのAPIキーに切り替えられます。作業の流れはそのままです。
- ローカルで所有: トークン、元画像、メタデータは、サードパーティのSaaSサーバーではなく自分のドライブに残ります。(クラウドプロバイダーで分析した画像は、そのプロバイダーに送信されます。)
- サブスクなし: 一度の購入で、ずっと使えます。
Vision プロバイダー
ローカルAI(Ollama)が検出されませんでした
このデバイスで無料のローカルタグ付けと翻訳を使うには、Ollama との連携が必要です。ガイドに沿って簡単に設定できます。
検証済み Vision モデル
Ollama で読み込みを確認済みのモデルです。
Moondream
最速・最軽量 · 低スペック機におすすめ · ~2.0 GB · 8GB RAM
Qwen2.5-VL 3B★ おすすめ
ノートPC向けの軽量・高速なタグ抽出 · ~3.2 GB · 8GB RAM / VRAM
MiniCPM-V 2.6 (8B)★ おすすめこのデバイスに最適
サイズの割に高速で、認識精度が高い · ~5.5 GB · 8–12GB RAM / VRAM
Qwen2.5-VL 7B★ おすすめ
品質と速度のバランス · OCRと細部はトップクラス · ~6.0 GB · 12–16GB RAM / VRAM
Llama 3.2 Vision 11B
最高の推論力と豊かなディテール · Meta のマルチモーダル · ~7.9 GB · 16GB+ RAM / VRAM
まとめ:自分だけのプライベートなプロンプト保管庫を作ろう
優れたプロンプトの公式がDiscordのスクロールに流れて消えていくのは、もう終わりにしましょう。ローカルのビジョンモデルと専用の整理ツールを組み合わせれば、散らばった生成結果が、自分で所有するプロンプトライブラリに変わります。
プロンプトの分解をもっと楽にしたいなら、macOS・Windows向けのmysnipboxをダウンロードして始めましょう。