System Administration

Postmortem: UPS 测试导致系统停机故障的事后回顾

摘要

事故影响

由于 UPS 测试触发了系统停机，导致 delphij.net 部分服务停止了约40分钟。服务从 2023-01-16 15:46:20 开始受到影响，至 16:26:55 完全恢复。 如果服务未能及时修复，潜在地将会进一步影响包括权威DNS（有多个独立的冗余，但依赖于持续的数据更新）在内的一些其他关键服务。

问题根源

在测试时对于 CyberPower UPS 测试特性的认识不足导致电池电量消耗至临界值， 由于对 nut 的配置未考虑这种情况直接将服务器关闭， 这使得必须亲自到机房才能完成服务的恢复。

试试看 CyberPower UPS

因为机房和家里 之前发生过一些停电的问题，因此这两处我都放了UPS。

UPS使用的铅酸电池是有一定寿命的，机房这台UPS是2016年5月上线的（当时是觉得已经到了5年，应该换掉了； 而当时查看价格发现购买一个UPS电池自己更换的原材料价值和买一个新的差不多，于是就直接整体换成了 APC BE600）。

线上重做 FreeBSD GPT 引导分区

记一笔。

我现在这台服务器已经用了蛮久(超过10年)了，刚刚安装的时候还是 FreeBSD 8.1 RC，一路升级到 FreeBSD 12.2。 前段时间因为工作比较忙，一直没顾上把它升级到 FreeBSD 13.0，今天总算是找了点时间来做升级。

总体上这次升级比预想的还要平稳一些，由于 FreeBSD 13.0 和 12.2 的内核接口变化不大，因此我也没按照正规的做法， 即升级内核、重启第一次、etcupdate、installworld，重启第二次、delete-old/delete-old-libs，而是在 installkernel 之后直接做了 etcupdate 和 installworld。