プライベートなオフラインAIプロンプト研究室を作る：クラウドへの記録もアカウントのリスクもなし

パソコンの外に出したくない創作もあります。ダークファンタジーやホラーのコンセプト、美術としての人体習作、政治風刺、あるいは単にNDAのかかったクライアント資料などです。

クラウドのマルチモーダルAPIは自動のコンテンツモデレーションを行うため、成人向けや暗い画像を分析してほしいというだけの無害なリクエストでも、拒否されたりフラグを立てられたりすることがあります。リクエストの内容は、プロバイダー独自のログ・保存ポリシーに従って扱われます。クラウドAPIに頼った作業では、研究の記録もアクセス権も、他人の決めたルールしだいになってしまいます。

自分のPCの中に、プライベートでオフラインのプロンプト研究環境を作る方法を紹介します。

オフラインのプロンプト研究スタック

[ローカルの画像 / 生成結果]
          |
          v
[ローカルのビジョンモデル]   Ollama: minicpm-v または qwen2.5vl:3b
          |   クラウドのプロバイダーには何も送信されません
          v
[ローカルのテキストモデル]   Ollama: qwen2.5:3b（タグ翻訳）
          |
          v
[mysnipboxライブラリ]        自分で選んだフォルダのローカルSQLite

1. オフラインでのビジョン分解

Ollamaに minicpm-v や qwen2.5vl:3b のようなビジョンモデルを組み合わせると、mysnipboxがクリーチャーデザイン、人体スケッチ、暗めの照明設定といった画像を自分のPCで読み取ります。クラウドキーを使わなければ、AIプロバイダーには何も送られません。メモリは minicpm-v で約16GB、qwen2.5vl:3b で約8GBが目安です。詳しくはローカルモデル（Ollama）をご覧ください。

2. ローカルでのタグ翻訳

クラウドサービスでタグを翻訳すると、タグのテキストをそちらに送ることになります。qwen2.5:3b のような小さなローカルモデルなら、この翻訳も端末の中で処理できるので、キーワードまで手元に残ります。

3. 自分のPCに残るもの

• ライブラリ、タグデータ、翻訳は、自分で選んだフォルダのローカルSQLiteデータベースに保存されます。
• 画像は私たちのサーバーを通らず、デスクトップアプリのテレメトリは初期設定でオフです。
• ローカルモデルを選んでいれば、分解の処理で外部への呼び出しは行われません。

「オフライン」が意味すること、意味しないこと

ここは正直にお伝えします。ローカルモデルも作った側が学習と調整を行っており、一部のリクエストを断ることがあります。変わるのは、処理が行われる場所です。画像はプロバイダーに送られず、アカウントも不要で、誰かが利用量を制限したり記録したりすることもありません。あるローカルモデルが自分の資料に対して慎重すぎる場合は、別のモデルを試してみてください。

はじめよう

1. 1Ollamaをインストールし、Ollamaセットアップガイドに沿ってデスクトップアプリ用に設定します。
2. 2ビジョンモデルと小さなテキストモデルを取得します。
3. 3mysnipboxでプロバイダーにOllamaを選び、最初の画像を分解してみましょう。
4. 4ライブラリは自分が管理できるドライブに置きます。