mysnipbox

模型与环境配置

本地模型（Ollama）

介绍如何在本机、远程 Ollama 服务器或自建 GPU 服务器上运行视觉和文本模型，以及实际需要的硬件配置。

本地模型通过 Ollama 完全在你自己的电脑上运行，图片不会离开设备。这对隐私很友好，但对配置的要求并不低，开始之前请先看完下面的说明。

配置参考（大致）

配置预期体验
32GB 以上统一内存，或约 16GB 以上显存的显卡推荐：使用中等规模的视觉模型，质量不错，速度也够用。
16GB 内存 / 约 8GB 以下显存实验性：只能跑小模型，速度较慢，准确度也会下降。
仅 CPU不推荐：会非常慢。

实际所需配置因模型而异，以下仅为大致参考。

1. 安装 Ollama

  1. 1前往 ollama.com/download 下载适用于 macOS 或 Windows 的安装包并运行。
  2. 2在终端中执行 ollama --version，确认安装成功。
  3. 3Ollama 会在后台运行本地服务 http://localhost:11434，mysnipbox 连接的就是这个地址。

2. 选择并下载模型

mysnipbox 会用到两类分工不同的模型，可以分别指定。

  • 视觉模型： 查看图片并描述内容，占用内存最多。请从下方的已验证列表中选择。
  • 文本模型： 负责标签翻译和嵌入（标签匹配），轻量得多。翻译模型从第二个列表中选择，嵌入可以使用 nomic-embed-text。

已验证的视觉模型

这 4 个视觉模型已内置在应用的模型选择界面中。

模型大小最低推荐内存特点 / 用途Ollama 命令
Moondream~2.0 GB8GB RAM超轻量，在低配置设备上也能快速提取标签。ollama run moondream
Qwen2.5-VL 3B~3.2 GB8GB RAM / VRAM针对日常笔记本优化的轻量视觉模型。ollama run qwen2.5vl:3b
MiniCPM-V 2.6 (8B)~5.5 GB16GB+ RAM推荐： 速度与分析质量平衡得最好。ollama run minicpm-v:latest
Llama 3.2 Vision (11B)~7.9 GB+24GB~32GB+ RAM适合大内存设备的高质量深度分析模型。ollama run llama3.2-vision

标签翻译模型

在本地翻译标签，一个轻量的文本模型就够了。请按需要的语言选择：

模型大小最低推荐内存特点 / 用途Ollama 命令
Qwen2.5 (3B)~2.0 GB8GB RAM推荐用于中日韩翻译。 能很好地保留亚洲语言词汇，标签翻译速度非常快。ollama run qwen2.5:3b
Llama 3.2 (3B)~2.0 GB8GB RAM推荐用于英语和欧洲语言翻译。 最适合西班牙语、葡萄牙语等西方语言的标签转换。ollama run llama3.2:3b
Gemma 2 (2B)~1.6 GB8GB RAM面向低配置设备的超轻量模型。内存占用小，与视觉模型同时运行也不吃力。ollama run gemma2:2b

3. 连接到 mysnipbox

  1. 1确认 Ollama 正在运行（菜单栏/托盘图标，或执行 ollama serve）。
  2. 2打开 mysnipbox 的设置，选择 Ollama 作为服务商。
  3. 3保持默认地址 http://localhost:11434 不变，然后分别选择视觉模型和文本模型。
  4. 4拿一张测试图试试。模型载入内存期间，第一次请求会比较慢。

连接远程 Ollama 服务器

Ollama 不必和应用运行在同一台电脑上。你可以改用家庭网络里的高配 PC、家用服务器，或云 GPU（例如 RunPod）。

  1. 1在 mysnipbox 中打开设置，选择 Ollama 作为提供商。
  2. 2把 Base URL 字段里的 http://localhost:11434 改成服务器地址：http://<服务器IP>:11434。
  3. 3在服务器上，启动 Ollama 之前先允许外部访问（见下方环境变量），然后在该服务器上下载模型。
shell (server)
OLLAMA_HOST=0.0.0.0 OLLAMA_ORIGINS="*" ollama serve

OLLAMA_HOST=0.0.0.0 让 Ollama 在所有网络接口上监听，OLLAMA_ORIGINS="*" 允许任何来源的请求。如果 Ollama 作为后台应用或服务运行，请在该服务的环境变量中设置，然后重启。

自建 GPU 服务器：Custom（OpenAI 兼容）

如果你用 vLLM、LMDeploy、LocalAI 等支持 OpenAI API 的引擎搭建了自己的 GPU 服务器，可以通过 Custom 提供商连接。

  1. 1在 mysnipbox 中打开设置，选择 Custom (OpenAI-compatible) 作为提供商。
  2. 2填写下面三项。
  3. 3分析一张测试图片，确认服务器有响应。
字段填写内容
Base URL自建服务器的 OpenAI 兼容地址，例如 http://<GPU-IP>:8000/v1。
API Key仅在服务器需要认证时填写。在本机或无需认证的私有网络中运行的服务器可以留空。
Model Name手动输入服务器正在提供的视觉模型名称，例如 Qwen/Qwen2.5-VL-7B-Instruct。

常见问题排查

  • 连接被拒绝： Ollama 没有运行。请启动应用，或执行 ollama serve。
  • 找不到模型： 请先用 ollama pull <模型名> 下载，名称必须完全一致。
  • 特别慢或崩溃： 模型超出了你的内存容量。换一个更小的模型，关闭其他占内存的程序，或改用云端服务商。
  • 执行 ollama ps 可以查看当前已加载的模型及其内存占用。