AI + NAS:在群晖上跑本地 AI 工具的几种玩法

AI + NAS:在群晖上跑本地 AI 工具的几种玩法

夜影
2026-11-21 / 0 评论 / 2 阅读 / 正在检测是否收录...

AI + NAS:在群晖上跑本地 AI 工具的几种玩法1.png

前段时间写 AI 中转站选型避坑的时候,有读者在评论区问:中转站再便宜,数据毕竟要出内网,有没有办法让 AI 完全跑在自己家里?答案是有的——你家那台 24 小时开机的群晖 NAS,就是一台现成的本地 AI 服务器。

这篇不聊云端大模型,只聊能在群晖上真正跑起来的几种本地 AI 玩法:聊天、知识库、语音转文字、相册语义搜索,外加一个“别硬上”的忠告。先泼一盆冷水,再讲怎么做。

一、先说清楚:群晖跑 AI 的算力边界

本地 AI 最大的误区,是拿 NAS 当显卡服务器用。群晖没有独显,CPU 推理就是它的天花板,玩法选错了,再贵的机型也跑不动。

  • 机型先分两类:x86 机型(Intel Celeron、Pentium、酷睿系列)才能跑本地大模型;ARM 机型(Realtek、Marvell Armada)基本告别 Ollama 这类工具,顶多跑点轻量服务。
  • 内存是第一瓶颈:8GB 是起步线,16GB 才算舒服。一个 7B 参数的量化模型就要占 4~5GB 内存,模型一加载,留给 DSM 和其他套件的就不多了。
  • 速度预期要放低:CPU 跑 7B 模型,每秒大概 5~15 个 token,聊聊天、问答、摘要够用,但别指望它秒回一篇长文。能接受这个速度,后面才有的聊。
  • 模型放 SSD 卷:模型文件一个就 4~8GB,放在机械盘上每次加载都要等半天,SSD 卷是刚需。

一句话总结:群晖跑本地 AI,拼的不是算力,是“够用就好”的取舍。

二、玩法一:Ollama + Open WebUI,本地聊天机器人

这是性价比最高的入门玩法:Ollama 负责跑模型,Open WebUI 提供一个像 ChatGPT 一样的聊天界面,两个容器一搭,就是一台“家里的大模型”。

部署用 Docker Compose,一条命令拉起:

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - /volume1/docker/ollama:/root/.ollama
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: unless-stopped
    ports:
      - "3000:8080"
    volumes:
      - /volume1/docker/open-webui:/app/backend/data
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434

拉起后进 Ollama 容器拉模型:

docker exec -it ollama ollama pull qwen2.5:7b

模型怎么选?中文场景优先 Qwen2.5:7b,英文和代码多就试试 Llama3.1:8b;别一上来就拉 32B、70B,群晖 CPU 扛不住,7B/8B 量化版先跑起来再说。

实测感受(DS920+、8GB 内存):Qwen2.5:7b 回答短问题 2~3 秒出第一个字,写一段 300 字左右的文字大概 20~30 秒,速度谈不上快,但胜在数据不出内网、不用按量付费,半夜三点也能用。

端口提醒:Ollama 默认 11434,Open WebUI 映射到 3000,避开群晖 Web Station 的常用端口;要外网访问就走 Lucky 反代,别直接把端口暴露到公网。

手机上也能用:Open WebUI 是响应式界面,手机浏览器直接打开就能聊;如果习惯用 App,找支持 OpenAI 兼容接口的聊天 App,把地址填成 http://群晖IP:11434/v1、模型名填 qwen2.5:7b 就能接上,家里 Wi-Fi 内网直连,出门走 Lucky 反代同一套。

三、玩法二:本地知识库问答(RAG),让 AI 读你的文档

光聊天还不够意思。Open WebUI 自带知识库功能,把弱电方案、产品手册、报价单、验收文档这些 PDF 丢进去,就能对着自己的资料提问,比如“这个项目的门禁接线有什么要求”“这款摄像头的供电方式是什么”。

步骤很简单:Open WebUI 左侧“工作空间 → 知识库”新建一个库,上传文档,等它切块、建索引,聊天时勾选这个知识库再提问。

实测提醒两点:第一,小模型做 RAG 容易“一本正经地胡说八道”,文档先按项目分好类,别把几十份不相干的 PDF 混进一个库;第二,问题问具体点,“门禁电源线怎么接”比“讲讲门禁”靠谱得多。

如果文档量大、还想多用户共用,可以换 anything-llm,部署方式类似,也是 Docker 一把梭,界面更偏“团队知识库”。

四、玩法三:语音转文字(Whisper),录音变文字稿

弱电现场巡检、客户会议、电话沟通,录音一堆,整理成文字全靠手敲?Whisper 容器可以把这活接过去:录音丢进去,出来就是文字稿。

docker run -d --name whisper-asr \
  -p 9000:9000 \
  -v /volume1/docker/whisper:/app/data \
  onerahmet/openai-whisper-asr-webservice:latest

拉起后打开 http://群晖IP:9000,上传录音、选 small 或 medium 模型,点转写就行。模型选型上,small 速度快、够日常用;medium 准确率更高,但 CPU 上转一小时录音可能要半小时以上,large 就别在群晖上想了。实测:一小时左右的会议录音,CPU 转写大概 10~20 分钟,普通话准确率不错,方言、行话、带口音的人名地名会错,出来后通读校对一遍,还是比手敲省事得多。

五、玩法四:AI 相册语义搜索(Immich)

Immich 自带 CLIP 模型,照片入库后自动打标签、做语义索引,搜“穿黄衣服的施工照片”“夜里的机柜”这种描述,能直接把照片翻出来,不用再靠文件名和文件夹硬找。

部署教程之前写过一篇,这里只补两句实测:首次识别要跑很久,几千张照片先放一夜让它慢慢算;识别用的也是 CPU,别在白天业务高峰期全量跑。

六、玩法五:AI 画图?先别在 NAS 上硬上

Stable Diffusion WebUI 也能在群晖 Docker 里跑起来,但 CPU 出一张图要几分钟到十几分钟,画质和速度都谈不上能用。真要画图,老老实实走云端 API 或中转站,选型避坑的方法之前写过一篇。

AI + NAS:在群晖上跑本地 AI 工具的几种玩法2.png

七、避坑清单:开始之前先看这几条

  • 别在 ARM 机型上装 Ollama,装上了也跑不动。
  • 模型别贪大,7B/8B 量化版先跑起来,够用再考虑升级内存。
  • 内存留余量:跑模型时别让 NAS 满载,留 2GB 给 DSM 和其他服务。
  • 模型文件放 SSD 卷,机械盘加载慢一倍不止。
  • 端口先查冲突:11434、3000、9000 这些别和已有服务撞车。
  • 散热:长时间推理风扇会起飞,夏天注意机房、弱电箱的温度。
  • 备份策略:模型文件别进 Hyper Backup,一个模型几个 GB,丢了重新拉就行,备份任务里把模型目录排除掉。

八、怎么卸载:玩腻了就收干净

docker compose down -v
docker rmi ollama/ollama ghcr.io/open-webui/open-webui:main

再把 /volume1/docker/ollama 和 /volume1/docker/open-webui 的数据目录删掉,端口就释放了。模型文件删之前想想:重拉一次也是流量和时间,留着以后换模型还能复用。

写在最后

本地 AI 不是为了替代云端大模型,而是给“不想出内网的东西”找个家:家里的聊天记录、项目文档、会议录音、施工照片,这些数据留在 NAS 上,用着安心。群晖的算力确实有限,但选对玩法,7B 小模型 + 知识库 + 语音转文字,已经能覆盖家里和工地上的一大半日常需求。

相关旧文:

0

评论 (0)

取消