2.1.0:网站自动抢救 + 后台抢救报告分区 + 网络热门音效 + 全量测试后台静默

按用户定的规矩,这一轮有新功能,升第二位:2.0.0 -> 2.1.0。

== 一、网站挂了会自己救 ==

用户原话:「网站还是容易挂,建议继续增加隧道稳定性,并在后台设立
检测单元,实时检测网站状态,一旦检测到网站挂了,立即启动紧急预案」。

新增 relay/monitor.sh + lanremote-monitor.timer:
    每 60 秒从**公网**查一次 /v1/health(不是查 127.0.0.1)

    为什么不查本机:本机 200 只说明中转进程活着,用户真正关心的是
    经过 Cloudflare 边缘 + 隧道 + 本机三段之后能不能打开。实测过
    隧道两条实例都掉了、本机 curl 照样 200,只有从公网测才发现 502。

    连续 3 次不通才动手(这条 4G 线路本来就有 2~4% 偶发失败),
    救完 10 分钟内不再动手(否则预案刚重启完隧道还没连上,
    下一次检查又救一遍,来回重启反而永远连不上)。

新增 relay/rescue.sh:五级阶梯,每级做完立刻复验,好了就停
    1 重启隧道          不动中转,在线设备不掉线
    2 重启中转服务      设备要重连,但很快
    3 重新施加网络调优  MSS / MTU 跑偏时用
    4 重启无线网卡      4G / WiFi 卡死时用
    5 重启整机          最后的底牌,**默认不开**(要 RESCUE_REBOOT=1)

    理由:如果问题出在供电或上游线路,重启只会让恢复更慢;
    而且半夜自动重启一台没人管的机器风险太大。

== 二、抢救报告 + 后台分区 ==

用户原话:「如果紧急预案未能解决,则将问题打包成 .txt,然后在
中转站设置里面加一个分区专门放还有下载这个 txt。解决后将解决问题
的方法加入紧急预案」。

    * 五级都没救回来 -> 把现场(内存/进程/隧道连接数/路由和 MTU、
      三份日志尾部、内核异常)整理成 rescue_reports/<时间戳>.txt
    * 后台新增「抢救报告」分区,列出报告(带结论摘要),点一下下载
    * 下载走单独的 /rescue/<名字>,**不发缓存头**(内容会变,
      也不该让 Cloudflare 边缘留着)。和 /download/ 分开是有意的:
      那个是给用户的安装包,文件名带版本号、内容永不改变,
      所以敢发 604800 长缓存
    * **要登录才能下** —— 报告里有内网 IP、进程表、日志尾部,
      是运维信息。第一版把这条路由插在 _admin_gate() 之前,
      等于匿名可下,自己查出来补上了
    * 每次自动抢救成功,把「第几级奏效」写进 rescue_knowledge.md;
      监测单元读它,下次同类症状优先试历史上管用的那一级
      (这就是用户说的"解决后将解决问题的方法加入紧急预案")

== 三、网络热门音效 ==

用户原话:「再加上近期网络热门音效,什么冰冰冰,啊哈哈哈哈,
各种老牧师音效,可以直接远程播放」。

**版权说明**:网上那些「冰冰冰」「啊哈哈哈」是**有版权的真实录音**
(影视片段 / 别人的作品),不能下载打包进安装包 —— 那既侵权,
也会让这个项目在 Gitee 那边直接踩线(这个仓库已经被判过一次
"内容可能含有违规信息")。

所以:
    * 内置 8 个**程序合成**的音效(正弦/方波现场算,零版权风险、
      不占安装包体积):冰冰冰 / 啊哈哈哈 / 老牧师 / 叮 / 当当当 /
      警报 / 鼓点 / 弹簧。名字对着感觉来,但不是那些录音本身
    * 做「自己放进来」的目录:mp3/wav 丢进 data/sfx/ 就自动出现在
      列表里,照样能远程播。目录里放了一份说明
    * 手表首页新增「音效」按钮,点开选一个,电脑就响
      (复用现成的 showChooser,不新建面板)

协议加 sfx_list / sfx_play 两条命令。

== 四、修「安卓设置页一片空白」 ==

用户报的。根因:设置页**建好了但忘了 root.addView()** ——
showOnly() 让它 VISIBLE 也没用,它根本不在视图树里。

这类"漏挂"编译完全不报,只在运行时表现为空白。已加断言
_tests/test_watch_panels_wired.py 盯着:每个面板都必须挂到 root、
并且纳入 showOnly()。

== 五、全量测试改成后台静默 ==

用户原话:「把全量测试改为在后台静默运行不要打开任何窗口或锁屏」。

会开窗口的 6 个阶段(含开**全屏**那个)现在跑在独立的 Windows
隐藏桌面上(_tests/hidden_desktop.py)。窗口是**真的** —— 全屏、
可见、几何、Win32 枚举都真实,测试有效性一点没损失 ——
只是不在用户眼前,全屏也不会锁屏。

顺带修了一个一直在骗人的检测:判断"锁屏"时只看 OpenInputDesktop
成不成功是不对的 —— **锁屏时它同样成功**(那时输入桌面是 Winlogon)。
于是截屏类测试在锁屏时被记成 FAIL 而不是 SKIP,把真问题淹掉了
(用户电脑锁了一夜,我就是被这个误导过)。改成看输入桌面的**名字**。
现在锁屏也能跑全量:该 SKIP 的 SKIP,该跑的照跑。

== 六、顺手修的真 bug ==

* windows/lanremote/server.py 的 sfx_play 分支用了不存在的变量名 body
  (应该是 msg)-> **一调就 NameError**。pyflakes 那关抓出来的,
  说明"未定义名"这条检查有用。
* _build/package_remote.py 的文件白名单只有 .py/.sh/.ico,
  **.service/.timer 收不进服务端 zip** -> 新机器上监测根本不启动,
  而且不报错、只是静默不跑。已加。
* protocol.py 被我补丁插入了 LF 行到 CRLF 文件里 -> 行尾混用,编码审计红。
* deploy.sh 的 watchdog 块被我改锚点时吃掉了 start/say 两行
  (bash -n 通过、只是少两条执行语句)—— 改完读回来核对才发现。
* _build/CHANGELOG.md 的 2.1.0 说明里写了"管理后台",
  触发对外材料清洁度检查。改成不提管理页(用户定的规矩:
  对外只能提官网)。

全量回归 46 个阶段全部通过。
This commit is contained in:
xmz7891
2026-10-08 18:36:50 +08:00
parent 50f4e1fb6f
commit 3f18e6bb40
203 changed files with 6645 additions and 1996 deletions
+358
View File
@@ -0,0 +1,358 @@
#!/bin/bash
# ============================================================================
# 紧急预案 —— 网站(公网)打不开时,按阶梯自动抢救
# ============================================================================
#
# 用户要求:
# 「在后台设立检测单元,实时检测网站状态,一旦检测到网站挂了,
# 立即启动紧急预案」
# 「如果紧急预案未能解决,则将问题打包成 .txt,然后在后台加一个分区
# 专门放还有下载这个 txt」
# 「解决后将解决问题的方法加入紧急预案」
#
# 谁调用它:monitor.sh(每 60 秒检查一次公网,连续失败就调这里)
# 也可以人工跑:bash /root/lanremote-relay/rescue.sh
#
# ---------------------------------------------------------------------------
# 设计原则
# ---------------------------------------------------------------------------
#
# 1. **先记录现场,再动手** —— 重启会把证据冲掉。第一件事永远是把
# 当前状态(内存、连接数、进程、日志尾部)写进报告。
#
# 2. **阶梯式,每级都验证** —— 从"代价最小"到"代价最大":
# 1 重启隧道 -> 不动中转,在线设备不掉(首选)
# 2 重启中转 -> 设备要重连,但很快
# 3 重施调优 -> 网络参数跑偏时用(实测 MTU 顺序错过一次)
# 4 重启网卡 -> 4G/WiFi 掉线卡死时用
# 5 重启整机 -> 最后的底牌,默认**不开**(要 RESCUE_REBOOT=1)
# 每做完一级立刻再验;好了就停,不做多余的破坏。
#
# 3. **全都失败要留证据** —— 生成一份 .txt 报告,放进 rescue_reports/,
# 后台管理页有专门的分区可以下载。
#
# 4. **成功的招数记下来** —— 每级成功就写进 rescue_knowledge.md。
# 下次同类问题,monitor 可以把这一级提到前面先试。
# (这就是用户说的"解决后将解决问题的方法加入紧急预案")
#
# ---------------------------------------------------------------------------
set -u
RELAY_DIR="${RELAY_DIR:-/root/lanremote-relay}"
PUBLIC_URL="${PUBLIC_URL:-https://relay.xxmxxs.top}"
LOCAL_URL="${LOCAL_URL:-http://127.0.0.1:8080}"
REPORTS_DIR="$RELAY_DIR/rescue_reports"
KNOWLEDGE="$RELAY_DIR/rescue_knowledge.md"
LOCKFILE="/tmp/lanremote-rescue.lock"
# 每级之后等多久再验(隧道重连要时间)
SETTLE_FAST=8
SETTLE_SLOW=25
# 是否允许用"重启整机"这张底牌。默认关 —— 半夜自动重启一台没人管的
# 机器很吓人,而且如果问题出在供电/上游,重启反而更久才回来。
RESCUE_REBOOT="${RESCUE_REBOOT:-0}"
mkdir -p "$REPORTS_DIR"
# 同一时间只允许一个预案在跑(monitor 可能和人工同时触发)
if ! mkdir "$LOCKFILE" 2>/dev/null; then
echo "[rescue] 已经有一个预案在跑,本次退出"
exit 0
fi
trap 'rmdir "$LOCKFILE" 2>/dev/null' EXIT
STAMP="$(date +%Y%m%d-%H%M%S)"
REPORT="$REPORTS_DIR/$STAMP.txt"
LOG="$RELAY_DIR/rescue.log"
say() {
echo "$*"
echo "$(date '+%F %T') $*" >> "$LOG"
}
# ---------------------------------------------------------------------------
# 健康检查:**看公网,不看本机**
# ---------------------------------------------------------------------------
# ⚠ 这是关键。本机 127.0.0.1 通不代表用户能访问 ——
# 隧道断了、Cloudflare 边缘出问题,本机照样 200。
# 所以预案里的"好了没"一律以公网为准。
is_healthy() {
local code
code=$(curl -s -o /dev/null -w '%{http_code}' --max-time 12 \
"$PUBLIC_URL/v1/health" 2>/dev/null)
[ "$code" = "200" ]
}
# 公网不通时,看是本机的问题还是隧道的问题
local_health() {
local code
code=$(curl -s -o /dev/null -w '%{http_code}' --max-time 6 \
"$LOCAL_URL/v1/health" 2>/dev/null)
[ "$code" = "200" ]
}
# ---------------------------------------------------------------------------
# 现场记录
# ---------------------------------------------------------------------------
collect() {
{
echo "================================================================================"
echo " ykxmz 紧急预案诊断报告"
echo " 时间:$(date '+%F %T %Z')"
echo " 主机:$(hostname) 运行时长:$(uptime -p 2>/dev/null || uptime)"
echo " 触发原因:$1"
echo "================================================================================"
echo
echo "---- 一、结论速览 ----"
echo
echo " 公网 $PUBLIC_URL/v1/health -> $(is_healthy && echo 200-正常 || echo 不通)"
echo " 本机 $LOCAL_URL/v1/health -> $(local_health && echo 200-正常 || echo 不通)"
echo
if local_health && ! is_healthy; then
echo " 判断:**本机是好的,问题在隧道或 Cloudflare 那一侧**。"
elif ! local_health; then
echo " 判断:**本机的中转服务就没起来**,先看第二、三节。"
else
echo " 判断:两边都通(可能是刚才已经自愈,或者只是偶发抖动)。"
fi
echo
echo "---- 二、服务状态 ----"
echo
for svc in lanremote-relay lanremote-tunnel lanremote-tunnel-h2 \
lanremote-nettune lanremote-watchdog; do
printf ' %-26s %s\n' "$svc" "$(systemctl is-active "$svc" 2>&1)"
done
echo
echo "---- 三、进程 ----"
echo
ps -eo pid,rss,etime,comm,args --sort=-rss 2>/dev/null | head -12
echo
echo "---- 四、内存 / 负载 ----"
echo
free -m 2>/dev/null
echo
uptime
echo
echo "---- 五、网络 ----"
echo
echo "网卡:"
ip -brief addr show 2>/dev/null
echo
echo "MTU / 队列:"
for i in $(ls /sys/class/net 2>/dev/null | grep -v lo); do
echo " $i mtu=$(cat /sys/class/net/$i/mtu 2>/dev/null)"
done
echo
echo "默认路由:"
ip route show default 2>/dev/null
echo
echo "MSS 钳制规则:"
iptables -t mangle -L -n 2>/dev/null | grep -i mss || echo " (没有 MSS 规则!)"
echo
echo "路径 MTU 探测:tcp_mtu_probing=$(cat /proc/sys/net/ipv4/tcp_mtu_probing 2>/dev/null)"
echo
echo "---- 六、隧道连接数 ----"
echo
for port in 20241 20242; do
n=$(curl -s --max-time 5 "http://127.0.0.1:$port/metrics" 2>/dev/null \
| grep '^cloudflared_tunnel_ha_connections' | awk '{print $2}' | head -1)
echo " 指标端口 $port -> 连接数 ${n:-拿不到}"
done
echo
echo "---- 七、日志尾部 ----"
echo
echo "### 中转(lanremote-relay)"
journalctl -u lanremote-relay --no-pager -n 25 2>/dev/null | tail -25
echo
echo "### 隧道(lanremote-tunnel)"
journalctl -u lanremote-tunnel --no-pager -n 15 2>/dev/null | tail -15
echo
echo "### 隧道副本(lanremote-tunnel-h2)"
journalctl -u lanremote-tunnel-h2 --no-pager -n 15 2>/dev/null | tail -15
echo
echo "### 看门狗"
tail -20 "$RELAY_DIR/watchdog.log" 2>/dev/null
echo
echo "### 监测单元"
tail -20 "$RELAY_DIR/monitor.log" 2>/dev/null
echo
echo "### 内核异常(OOM / 掉电 / 硬件)"
dmesg -T 2>/dev/null | grep -i -E 'oom|killed process|under-voltage|thermal|panic|watchdog' | tail -15
echo
echo "---- 八、最近一次重启 ----"
echo
who -b 2>/dev/null
echo "运行时长:$(cut -d. -f1 /proc/uptime 2>/dev/null) 秒"
echo
echo "================================================================================"
echo " 报告结束。这个文件可以在中转站后台的「抢救报告」分区下载。"
echo "================================================================================"
} > "$REPORT" 2>&1
say " 现场已记录 -> $REPORT"
}
# ---------------------------------------------------------------------------
# 阶梯
# ---------------------------------------------------------------------------
step_1_restart_tunnel() {
say " [1/5] 重启隧道(不动中转,在线设备不掉线)"
systemctl restart lanremote-tunnel lanremote-tunnel-h2 2>/dev/null
sleep "$SETTLE_SLOW"
}
step_2_restart_relay() {
say " [2/5] 重启中转服务"
systemctl restart lanremote-relay 2>/dev/null
sleep "$SETTLE_FAST"
}
step_3_retune_network() {
say " [3/5] 重新施加网络调优(MSS / MTU / 路径探测)"
# 这一步是有来历的:实测部署脚本里"先设 MTU 1400、脚本又想保持 1500"
# 顺序错过一次,结果网卡停在 1400,吞吐掉到 50%。
# 重跑 net-tune.sh 让它回到脚本认为正确的值。
if [ -f "$RELAY_DIR/net-tune.sh" ]; then
bash "$RELAY_DIR/net-tune.sh" >> "$LOG" 2>&1 && say " 调优脚本执行完成"
else
say " 找不到 net-tune.sh,跳过"
fi
systemctl restart lanremote-tunnel lanremote-tunnel-h2 2>/dev/null
sleep "$SETTLE_SLOW"
}
step_4_restart_network() {
say " [4/5] 重启无线网卡(4G/WiFi 卡死时用)"
local iface
iface=$(ip route show default 2>/dev/null | awk '{print $5; exit}')
if [ -z "$iface" ]; then
say " 找不到默认路由的网卡,跳过"
return
fi
# 用 nmcli 走管理接口,别直接把网卡 down 掉(down 了可能再也上不来)
if command -v nmcli >/dev/null 2>&1; then
nmcli device disconnect "$iface" >/dev/null 2>&1
sleep 4
nmcli device connect "$iface" >/dev/null 2>&1
say " nmcli 重连了 $iface"
else
say " 没有 nmcli,跳过(不敢直接 down 网卡:可能起不来)"
fi
systemctl restart lanremote-relay 2>/dev/null
systemctl restart lanremote-tunnel lanremote-tunnel-h2 2>/dev/null
sleep "$SETTLE_SLOW"
}
step_5_reboot() {
if [ "$RESCUE_REBOOT" != "1" ]; then
say " [5/5] 重启整机 —— **已跳过**(默认不开)"
say " 要允许自动重启,把 RESCUE_REBOOT=1 写进 monitor.service 的环境变量。"
say " 理由:如果问题出在供电或上游线路,重启只会让恢复更慢;"
say " 而且半夜自动重启一台没人管的机器风险太大。"
return 1
fi
say " [5/5] 重启整机(最后的底牌)"
sync
systemctl reboot 2>/dev/null
return 0
}
# ---------------------------------------------------------------------------
# 把这次成功的招数记进知识库
# ---------------------------------------------------------------------------
# 用户要求:「解决后将解决问题的方法加入紧急预案」。
# 实现方式:哪一级救回来的就把它记下来。monitor 下次遇到同类症状
# 会优先试历史上奏效的那一级(见 monitor.sh 的 PREFFERED_STEP)。
remember() {
local step="$1" reason="$2"
{
echo
echo "## $(date '+%F %T') 第 $step 级奏效"
echo
echo "- 症状:$reason"
echo "- 有效步骤:$step"
echo "- 当时公网:不通;本机:$(local_health && echo 通 || echo 不通)"
echo "- 详情见 rescue_reports/$(basename "$REPORT")"
} >> "$KNOWLEDGE"
say " 已把「第 $step 级奏效」记进 $KNOWLEDGE"
}
# ===========================================================================
# 主流程
# ===========================================================================
REASON="${1:-monitor 触发}"
say ""
say "================================================================================"
say " 紧急预案启动:$REASON"
say "================================================================================"
# ⚠ 先复查一次再记录现场。
#
# 为什么顺序是这样:collect() 会写一份报告文件。如果一上来就采,
# 那么"网站其实已经好了、什么都不用做"的这一次也会留下一份报告 ——
# 实测跑一次 e2e 就多出 2 份,全是没用的空报告,
# 真正出事时的报告会被这些噪音淹掉(后台列表只能显示最近 30 份)。
#
# 所以:先判健康;不健康才采现场、才开阶梯。
if is_healthy; then
say " 复查:公网现在是通的(可能是偶发抖动自愈,或者启动前已经恢复),"
say " 不需要动手 —— 不采现场、不留报告。"
exit 0
fi
# 确认不通了,这才记录现场(重启会把证据冲掉)
collect "$REASON"
STEP_NAMES=(
"重启隧道"
"重启中转服务"
"重新施加网络调优"
"重启无线网卡"
"重启整机"
)
for i in 1 2 3 4 5; do
case $i in
1) step_1_restart_tunnel ;;
2) step_2_restart_relay ;;
3) step_3_retune_network ;;
4) step_4_restart_network ;;
5) step_5_reboot || continue ;;
esac
if is_healthy; then
say ""
say " ✅ 第 $i 级(${STEP_NAMES[$((i-1))]})救回来了,公网已恢复。"
remember "$i" "$REASON"
exit 0
fi
say " 第 $i 级没解决,继续下一级"
done
# ---------------------------------------------------------------------------
# 全部失败 —— 生成报告,等人工
# ---------------------------------------------------------------------------
say ""
say " ❌ 五级都没解决。再采一次现场(状态已经变了,报告要反映最新情况)"
collect "$REASON(五级抢救后仍不通)"
# 在报告最前面补一句给用户看的结论
{
echo "⚠ 这份报告是「自动抢救全部失败」之后生成的。"
echo " 机器自己试过了:重启隧道 / 重启中转 / 重施网络调优 / 重启网卡。"
echo " (重启整机默认没做,见报告里的说明。)"
echo " 需要人工看一眼。下面是最新的现场。"
echo
cat "$REPORT"
} > "$REPORT.tmp" && mv "$REPORT.tmp" "$REPORT"
# 只保留最近 30 份,别把 460MB 的小机器塞满
ls -1t "$REPORTS_DIR"/*.txt 2>/dev/null | tail -n +31 | xargs -r rm -f
say " 报告已生成:$REPORT"
say " 可以在中转站后台的「抢救报告」分区下载。"
exit 1