Home Assistant 开机卡在救援模式:一次断电引发的连环故障修复

Home Assistant 开机卡在救援模式:一次断电引发的连环故障修复

夜影
2026-11-22 / 0 评论 / 3 阅读 / 正在检测是否收录...

Home Assistant 开机卡在救援模式:一次断电引发的连环故障修复1.png

故障现象

昨晚家里意外断电,群晖 NAS 硬重启恢复后,跑在虚拟机里的 Home Assistant(HAOS,冬瓜定制版镜像)开机直接停在一行提示上:

You are in rescue mode. After logging in, type "journalctl -xb" to view system logs.

智能家居全线失联:灯、传感器、自动化一个都动不了。这次故障前后折腾了大半天,因为它根本不是一个故障,而是断电埋下的三颗雷接连爆炸,外加两个烟雾弹。这篇按实际排查顺序完整记下来:每一步遇到了什么坑、是靠什么判断出真凶的、最后怎么彻底修好。HAOS 进救援模式的原因其实就那么几类,分层查下去都能定位。

修复全程速览:

坑一:唯一的失败服务,是个烟雾弹

进了救援 shell,第一件事是看哪些服务挂了:

systemctl --failed

结果只有一个失败项:systemd-vconsole-setup.service。再看它的日志:

journalctl -xb -u systemd-vconsole-setup.service

死因是它执行的 loadkeys -q -C /dev/tty1 -u us 以状态码 1 退出——加载 us 键盘映射失败。

怎么判断它不是病根: 一个控制台键盘映射服务,职权范围只有键盘布局,它失败顶多让控制台键盘用不了,没有任何机制能把整个系统送进救援模式。失败清单里只有它,只能说明"服务层能看到的就这一个问题",不能说明"它就是原因"。这种时候最容易犯的错误,就是对着唯一的失败项死磕。

不过本着先易后难,还是先处理它,顺便验证判断。处理过程又连踩两个小坑:

  • systemctl mask 直接报 Read-only file system。查了才知道 HAOS 的根目录是 erofs 只读镜像,/etc 不是独立挂载点,mount -o remount,rw / 也没用,救援模式下根本写不进去。
  • 改走运行时屏蔽:在 /run/systemd/system/ 下建指向 /dev/null 的软链接再 daemon-reload,--failed 确实清零了。但重启后依旧进救援模式——这一重启恰恰完成了实证:vconsole 与进救援无关,纯烟雾弹。
  • 最后把屏蔽做成持久的:挂载 hassos-overlay 分区(HAOS 的 /etc 实际写入靠这个 overlay 分区),在它的 etc/systemd/system/ 下放同样的软链接。这个屏蔽后来一直留着,无害,但它治的不是这次的病。

这一节的教训: 失败清单清零 ≠ 修好。判断一个失败项是不是病根,要看它在依赖链上的位置,以及"处理掉它之后现象是否改变"。

坑二:引导计数被断电"耗满",系统被 GRUB 判了死刑

既然服务层没问题,看系统为什么选了救援目标:

cat /proc/cmdline

输出里有一段刺眼的参数:systemd.unit=recovery.target。这是决定性的证据:不是某个服务失败把系统拖进救援,而是引导层在开机时就直接指定了救援目标。排查方向立刻从 systemd 转向 GRUB。

把引导分区(标签 hassos-boot)挂到 /mnt,读 EFI/BOOT/grub.cfg。HAOS 用 A/B 双槽位系统,grub.cfg 里的判断逻辑大致是:每个槽位在 grubenv 里有 OK 和 TRY 两个值,TRY 是"连续开机尝试次数",只有 OK=1 且 TRY<3 的槽位才算"可开机";两个槽位都不可开机时(default=99),就按 OK 值去选对应的 rescue 条目。再读当时的 grubenv:

ORDER=B A
A_OK=1  B_OK=1
A_TRY=3 B_TRY=3

这里我自己先踩了一个判断坑: 一开始把 TRY=3 理解成"尝试次数满格 = 健康",方向完全读反。细读 grub.cfg 的比较逻辑才确认:TRY 是失败计数,0 才是健康值——每次开机成功后由系统的 mark-good 服务把它清零;每次开机没走完就中断,它就 +1;攒到 3,这个槽位被判定损坏。

因果链这下通了:断电那晚 NAS 反复重启,虚拟机跟着一次次开机,每次都没能走完正常启动把 TRY 清零,双槽 TRY 双双攒满 3,GRUB 判定"没有可开机的槽位",按规则选了救援条目。这才是进救援模式的直接原因,与 vconsole 毫无关系。

修复只有一条命令:

mount /dev/disk/by-label/hassos-boot /mnt
grub-editenv /mnt/EFI/BOOT/grubenv set A_TRY=0 B_TRY=0
systemctl reboot

关键命令,一键复制:

操作层面的坑也要记一笔: 群晖 VMM 的 noVNC 控制台没法粘贴(没有剪贴板通道),而且会吞字母——by-label 被打成 by-lable、命令里的字母凭空消失,这次前后因此失败了好几回。对策是:路径和单元名尽量用 Tab 补全、重复命令用 ↑ 调历史、回车之前把整行再瞄一眼。这几条能省一半时间。

重启后,系统成功跳过救援模式,正常开机了。本以为结束了——并没有。

坑三:正常开机后,陷入"14 秒重启"死循环

正常系统起来后,每次只活约 14 秒就自动重启,如此往复;几轮下来 TRY 又被耗满,再次掉回救援模式。

怎么判断: 先清 TRY 重新进系统,然后看开机历史:

journalctl --list-boots

一串连续的 boot 记录,每次的存活时间都只有 14 秒左右——规律得如此整齐,说明不是随机崩溃,而是某个固定环节在固定时机触发重启。再看上一次开机的日志尾巴找触发者:

journalctl -b -1

真凶现形,分三段:

  1. dockerd 报错 RW layer for container … not found,紧接着 panic: invalid freelist page: 20, page type is leaf——Docker 用来存元数据的 bbolt 数据库被断电写坏了(freelist 页损坏是 bbolt 的典型断电伤)。
  2. docker.service 失败,依赖它的 haos-supervisor.service 跟着失败:没有 Docker,Supervisor 根本起不来。
  3. 这版定制镜像带开机自检服务(waxgourd-ha-boot-check 一类),自检不过就重启整机——于是形成"开机 → Docker 失败 → 自检重启"的死循环,每轮 14 秒。

修复决策的关键判断:HA 的数据到底在哪? 查数据分区(hassos-data,/dev/sda8)根目录:docker、supervisor、logs、swapfile 等目录并列。HA 的全部配置、数据库、插件数据都在 supervisor 目录里;docker 目录装的只是镜像层和容器运行时元数据——坏掉的恰好是可以弃掉重建的那部分。再用 df -h 确认空间:分区共 30.2G、已用 7.5G、可用 21.4G,重拉镜像绰绰有余。

于是动手(先改名不删除,留后悔药):

mv /mnt/data/docker /mnt/data/dockerbak

然后再清一次 TRY、重启。这次系统稳定运行:Docker 在空目录上重建元数据,haos-supervisor 服务把 Supervisor 镜像从国内镜像源(r.hassbus.com)重新拉下并启动,DNS、Audio、CLI、Observer、Multicast 等系统容器随后逐个就位。

坑四:万事俱备,Core 却卡在 setup 一个多小时

系统容器都起来了,HA 本体(Core)却迟迟不见踪影,8123 打不开,HA 命令行里查 Supervisor 状态只回一句:

{"result":"error","message":"System is not ready with state: setup"}

怎么判断卡在哪: 在系统层(HA 命令行敲 login 进 root shell)对比两条命令的输出——

  • docker ps:只有 6 个系统容器在运行,已经 Up 了两个小时,没有 homeassistant 容器,也没有任何插件容器。
  • docker images:镜像却基本齐了——Supervisor、DNS、Audio 等系统镜像都在,Core 的镜像(generic-x86-64-homeassistant,3.57GB)也已经拉下来了,另外 Node-RED、Configurator、FileBrowser 等插件镜像也在。

"镜像在、容器不在",说明下载环节没问题,卡的是 Supervisor 的安装编排环节:它在按顺序建容器时被某一步堵住了。再翻 Supervisor 日志,碎片里闪过一行在装 core_ssh 插件的记录,之后就是反复重试——大概率是某个插件的安装步骤失败后无限重试,把整个 setup 流程堵死,后面的 Core 建容器一直排不上队。

怎么决策: 这时候要先确认"重启安不安全"。与坑三时不同,此刻操作系统层已经完全健康:正常运行了两个多小时,mark-good 早已把 TRY 清零,不存在再掉回救援的风险;Docker 和 Supervisor 本身也都活着,卡住的只是一个内存里的编排状态。这种情况下,逐条翻日志死磕的收益很低,一次干净的整机重启能把卡住的状态清掉、让 Supervisor 重新走一遍安装顺序,是性价比最高的解法。

reboot

重启过程里还有个小插曲:开机日志里有两个 FAILED——systemd-cloud.service 和 systemd-safe-data.service。判断它们不用管的依据是:这两个是定制镜像的附加服务(云服务、数据守护),不在 Docker/Supervisor 的依赖链上;证据紧随其后——同一屏日志里 containerd 和 Docker 都启动成功、HA 的服务也开始拉起。果然,重启后约 25 分钟,docker ps 里出现了 homeassistant 容器,Node-RED、Mosquitto、Configurator、FileBrowser 等插件容器也逐个建出并转 healthy。后来回看时间线,Core 容器是在 19:21 建好的。

坑五:页面停在加载图,其实是浏览器的锅

最后一公里又卡住了:浏览器打开 192.168.2.217:8123,页面一直停在 HA 的蓝色加载图,进不去登录页。

怎么判断是客户端问题而不是服务端: 回系统层看 Core 自己的日志 docker logs homeassistant,尾巴 30 行全是 19:21 启动那一分钟的 WARNING——天圆历(tianyuan_calendar)、小米之家(xiaomi_home)等自定义集成调用了已过时的接口,属于"将来版本会失效"的提醒,不是错误。19:21 之后再无任何报错。也就是说 Core 在 19:21 就已完成启动、配置和集成都在正常加载;同时页面能返回加载图,说明 8123 的 HTTP 通道也是通的——卡住的只剩浏览器端的前端初始化。

原因也不难想:这次修复中 Supervisor 是按最新版重拉的镜像,Core 被顺带升到了 2026.11.1,前端是全新版本;而当时用的 360 浏览器内核偏老,既存着旧版前端缓存、也可能跑不动新版前端的脚本。验证方法很简单:换 Edge 打开同一地址——秒进登录页,确诊。

Home Assistant 开机卡在救援模式:一次断电引发的连环故障修复2.png

最终状态与遗留事项

至此彻底修复,最终核验结果:

  • HAOS 正常开机,不再进救援、不再重启循环;
  • Supervisor 及全部系统容器运行正常;
  • homeassistant 容器(2026.11.1)运行中,8123 可正常登录,配置、集成、自动化全部完好(整个过程没有动过 supervisor 数据目录);
  • Node-RED、Mosquitto、Configurator、FileBrowser 等插件全部 healthy。

留了两个无害的尾巴:

  1. 坏掉的旧 Docker 目录还以 dockerbak 的名字躺在数据分区里占空间,等 HA 稳定跑几天后 rm -rf /mnt/data/dockerbak 删掉即可——先留着,是为了万一新目录出问题还能比对。
  2. vconsole 的持久屏蔽软链接保留未动;systemd-cloud、systemd-safe-data 两个镜像附加服务仍是启动失败状态,不影响 HA 使用,等哪天用到镜像的云端/数据保护功能再说。

经验总结

把这次的分层判断法列成一张速查表,下次 HAOS 出问题照着走:

层看什么这次的结论
服务层systemctl --failed + 对应单元日志只有 vconsole 失败,是烟雾弹
引导层cat /proc/cmdline、grub.cfg、grubenv带 recovery.target;TRY 双满 3,是真凶一
容器层journalctl -b -1、docker ps、docker imagesDocker 元数据断电写坏,是真凶二;镜像在容器不在 = 编排卡住
客户端换浏览器、强刷缓存服务端日志干净时,先怀疑浏览器

再加四条通用的:

  1. 别被第一个失败项带偏。 判断病根看两点:它在依赖链上的位置,和"处理掉它之后现象变不变"。
  2. 计数类保护机制先读懂语义再动手。 TRY 是失败计数、0 才是健康,我自己一度读反——读反了清错值,越修越坏。
  3. 动手前先确认数据边界。 这次敢弃掉 docker 目录,前提是确认了配置在 supervisor 目录、两者分开。数据在哪没搞清之前,不要删任何东西;改名永远优先于删除。
  4. 断电是万恶之源。 这次三重故障(计数耗尽、元数据损坏、自检重启循环)全是硬断电的后遗症。收尾建议:给 NAS 上 UPS 并设置来电自动开机、虚拟机设置自启、HA 定期备份到 NAS 之外;另外,动手修虚拟机之前先打快照,留好退路再折腾。

相关旧文

0

评论 (0)

取消