首页
小窝数据
邻居
微信视频号提取
关于
推荐
夜影网盘
Search
1
海纳斯系统盒子安装ARMv7的ECH-Workers (Docker版)
686 阅读
2
高斯数学动画分享
434 阅读
3
群晖 NAS 使用 Docker 部署 Lolia FRP 实现多隧道内网穿透
337 阅读
4
免费的内网穿透服务-星河frp内网穿透
317 阅读
5
群晖surveillance接入监控摄像头实现无限制空间存储录像
274 阅读
随笔心得
网络技术
资源分享
登录
Search
标签搜索
群晖
docker
joe主题
NAS
joe美化
AI
内网穿透
bark
插件
lucky
Typecho
自建服务
WordPress
css样式
监控
儿童动画
serv00
青龙面板
自动化
甲骨文
夜影
累计撰写
73
篇文章
累计收到
36
条评论
首页
栏目
随笔心得
网络技术
资源分享
页面
小窝数据
邻居
微信视频号提取
关于
推荐
夜影网盘
为您搜索到
1
篇关于
本地AI
的相关文章,期待您能满意而归!
2026-11-21
AI + NAS:在群晖上跑本地 AI 工具的几种玩法
前段时间写 AI 中转站选型避坑的时候,有读者在评论区问:中转站再便宜,数据毕竟要出内网,有没有办法让 AI 完全跑在自己家里?答案是有的——你家那台 24 小时开机的群晖 NAS,就是一台现成的本地 AI 服务器。这篇不聊云端大模型,只聊能在群晖上真正跑起来的几种本地 AI 玩法:聊天、知识库、语音转文字、相册语义搜索,外加一个“别硬上”的忠告。先泼一盆冷水,再讲怎么做。一、先说清楚:群晖跑 AI 的算力边界本地 AI 最大的误区,是拿 NAS 当显卡服务器用。群晖没有独显,CPU 推理就是它的天花板,玩法选错了,再贵的机型也跑不动。机型先分两类:x86 机型(Intel Celeron、Pentium、酷睿系列)才能跑本地大模型;ARM 机型(Realtek、Marvell Armada)基本告别 Ollama 这类工具,顶多跑点轻量服务。内存是第一瓶颈:8GB 是起步线,16GB 才算舒服。一个 7B 参数的量化模型就要占 4~5GB 内存,模型一加载,留给 DSM 和其他套件的就不多了。速度预期要放低:CPU 跑 7B 模型,每秒大概 5~15 个 token,聊聊天、问答、摘要够用,但别指望它秒回一篇长文。能接受这个速度,后面才有的聊。模型放 SSD 卷:模型文件一个就 4~8GB,放在机械盘上每次加载都要等半天,SSD 卷是刚需。一句话总结:群晖跑本地 AI,拼的不是算力,是“够用就好”的取舍。二、玩法一:Ollama + Open WebUI,本地聊天机器人这是性价比最高的入门玩法:Ollama 负责跑模型,Open WebUI 提供一个像 ChatGPT 一样的聊天界面,两个容器一搭,就是一台“家里的大模型”。部署用 Docker Compose,一条命令拉起:services: ollama: image: ollama/ollama:latest container_name: ollama restart: unless-stopped ports: - "11434:11434" volumes: - /volume1/docker/ollama:/root/.ollama open-webui: image: ghcr.io/open-webui/open-webui:main container_name: open-webui restart: unless-stopped ports: - "3000:8080" volumes: - /volume1/docker/open-webui:/app/backend/data environment: - OLLAMA_BASE_URL=http://ollama:11434拉起后进 Ollama 容器拉模型:docker exec -it ollama ollama pull qwen2.5:7b模型怎么选?中文场景优先 Qwen2.5:7b,英文和代码多就试试 Llama3.1:8b;别一上来就拉 32B、70B,群晖 CPU 扛不住,7B/8B 量化版先跑起来再说。实测感受(DS920+、8GB 内存):Qwen2.5:7b 回答短问题 2~3 秒出第一个字,写一段 300 字左右的文字大概 20~30 秒,速度谈不上快,但胜在数据不出内网、不用按量付费,半夜三点也能用。端口提醒:Ollama 默认 11434,Open WebUI 映射到 3000,避开群晖 Web Station 的常用端口;要外网访问就走 Lucky 反代,别直接把端口暴露到公网。手机上也能用:Open WebUI 是响应式界面,手机浏览器直接打开就能聊;如果习惯用 App,找支持 OpenAI 兼容接口的聊天 App,把地址填成 http://群晖IP:11434/v1、模型名填 qwen2.5:7b 就能接上,家里 Wi-Fi 内网直连,出门走 Lucky 反代同一套。三、玩法二:本地知识库问答(RAG),让 AI 读你的文档光聊天还不够意思。Open WebUI 自带知识库功能,把弱电方案、产品手册、报价单、验收文档这些 PDF 丢进去,就能对着自己的资料提问,比如“这个项目的门禁接线有什么要求”“这款摄像头的供电方式是什么”。步骤很简单:Open WebUI 左侧“工作空间 → 知识库”新建一个库,上传文档,等它切块、建索引,聊天时勾选这个知识库再提问。实测提醒两点:第一,小模型做 RAG 容易“一本正经地胡说八道”,文档先按项目分好类,别把几十份不相干的 PDF 混进一个库;第二,问题问具体点,“门禁电源线怎么接”比“讲讲门禁”靠谱得多。如果文档量大、还想多用户共用,可以换 anything-llm,部署方式类似,也是 Docker 一把梭,界面更偏“团队知识库”。四、玩法三:语音转文字(Whisper),录音变文字稿弱电现场巡检、客户会议、电话沟通,录音一堆,整理成文字全靠手敲?Whisper 容器可以把这活接过去:录音丢进去,出来就是文字稿。docker run -d --name whisper-asr \ -p 9000:9000 \ -v /volume1/docker/whisper:/app/data \ onerahmet/openai-whisper-asr-webservice:latest拉起后打开 http://群晖IP:9000,上传录音、选 small 或 medium 模型,点转写就行。模型选型上,small 速度快、够日常用;medium 准确率更高,但 CPU 上转一小时录音可能要半小时以上,large 就别在群晖上想了。实测:一小时左右的会议录音,CPU 转写大概 10~20 分钟,普通话准确率不错,方言、行话、带口音的人名地名会错,出来后通读校对一遍,还是比手敲省事得多。五、玩法四:AI 相册语义搜索(Immich)Immich 自带 CLIP 模型,照片入库后自动打标签、做语义索引,搜“穿黄衣服的施工照片”“夜里的机柜”这种描述,能直接把照片翻出来,不用再靠文件名和文件夹硬找。部署教程之前写过一篇,这里只补两句实测:首次识别要跑很久,几千张照片先放一夜让它慢慢算;识别用的也是 CPU,别在白天业务高峰期全量跑。六、玩法五:AI 画图?先别在 NAS 上硬上Stable Diffusion WebUI 也能在群晖 Docker 里跑起来,但 CPU 出一张图要几分钟到十几分钟,画质和速度都谈不上能用。真要画图,老老实实走云端 API 或中转站,选型避坑的方法之前写过一篇。七、避坑清单:开始之前先看这几条别在 ARM 机型上装 Ollama,装上了也跑不动。模型别贪大,7B/8B 量化版先跑起来,够用再考虑升级内存。内存留余量:跑模型时别让 NAS 满载,留 2GB 给 DSM 和其他服务。模型文件放 SSD 卷,机械盘加载慢一倍不止。端口先查冲突:11434、3000、9000 这些别和已有服务撞车。散热:长时间推理风扇会起飞,夏天注意机房、弱电箱的温度。备份策略:模型文件别进 Hyper Backup,一个模型几个 GB,丢了重新拉就行,备份任务里把模型目录排除掉。八、怎么卸载:玩腻了就收干净docker compose down -v docker rmi ollama/ollama ghcr.io/open-webui/open-webui:main再把 /volume1/docker/ollama 和 /volume1/docker/open-webui 的数据目录删掉,端口就释放了。模型文件删之前想想:重拉一次也是流量和时间,留着以后换模型还能复用。写在最后本地 AI 不是为了替代云端大模型,而是给“不想出内网的东西”找个家:家里的聊天记录、项目文档、会议录音、施工照片,这些数据留在 NAS 上,用着安心。群晖的算力确实有限,但选对玩法,7B 小模型 + 知识库 + 语音转文字,已经能覆盖家里和工地上的一大半日常需求。相关旧文:AI 中转站选型避坑:价格、稳定性、跑路风险怎么验Immich 自建相册实测:能不能替代群晖 Photos用 AI 写弱电方案、报价单、拓扑图:实测提效流程群晖 DSM 7.2 Container Manager 迁移避坑:从旧 Docker 平滑搬家
2026年11月21日
2 阅读
0 评论
0 点赞