mirror of
https://gitee.com/xmz7891/ykxmz.git
synced 2026-10-18 16:00:43 +00:00
xmz7891
3f18e6bb40
按用户定的规矩，这一轮有新功能，升第二位：2.0.0 -> 2.1.0。
== 一、网站挂了会自己救 ==
用户原话：「网站还是容易挂，建议继续增加隧道稳定性，并在后台设立
检测单元，实时检测网站状态，一旦检测到网站挂了，立即启动紧急预案」。
新增 relay/monitor.sh + lanremote-monitor.timer：
每 60 秒从**公网**查一次 /v1/health（不是查 127.0.0.1）
为什么不查本机：本机 200 只说明中转进程活着，用户真正关心的是
经过 Cloudflare 边缘 + 隧道 + 本机三段之后能不能打开。实测过
隧道两条实例都掉了、本机 curl 照样 200，只有从公网测才发现 502。
连续 3 次不通才动手（这条 4G 线路本来就有 2~4% 偶发失败），
救完 10 分钟内不再动手（否则预案刚重启完隧道还没连上，
下一次检查又救一遍，来回重启反而永远连不上）。
新增 relay/rescue.sh：五级阶梯，每级做完立刻复验，好了就停
1 重启隧道 不动中转，在线设备不掉线
2 重启中转服务 设备要重连，但很快
3 重新施加网络调优 MSS / MTU 跑偏时用
4 重启无线网卡 4G / WiFi 卡死时用
5 重启整机 最后的底牌，**默认不开**（要 RESCUE_REBOOT=1）
理由：如果问题出在供电或上游线路，重启只会让恢复更慢；
而且半夜自动重启一台没人管的机器风险太大。
== 二、抢救报告 + 后台分区 ==
用户原话：「如果紧急预案未能解决，则将问题打包成 .txt，然后在
中转站设置里面加一个分区专门放还有下载这个 txt。解决后将解决问题
的方法加入紧急预案」。
* 五级都没救回来 -> 把现场（内存/进程/隧道连接数/路由和 MTU、
三份日志尾部、内核异常）整理成 rescue_reports/<时间戳>.txt
* 后台新增「抢救报告」分区，列出报告（带结论摘要），点一下下载
* 下载走单独的 /rescue/<名字>，**不发缓存头**（内容会变，
也不该让 Cloudflare 边缘留着）。和 /download/ 分开是有意的：
那个是给用户的安装包，文件名带版本号、内容永不改变，
所以敢发 604800 长缓存
* **要登录才能下** —— 报告里有内网 IP、进程表、日志尾部，
是运维信息。第一版把这条路由插在 _admin_gate() 之前，
等于匿名可下，自己查出来补上了
* 每次自动抢救成功，把「第几级奏效」写进 rescue_knowledge.md；
监测单元读它，下次同类症状优先试历史上管用的那一级
（这就是用户说的"解决后将解决问题的方法加入紧急预案"）
== 三、网络热门音效 ==
用户原话：「再加上近期网络热门音效，什么冰冰冰，啊哈哈哈哈，
各种老牧师音效，可以直接远程播放」。
**版权说明**：网上那些「冰冰冰」「啊哈哈哈」是**有版权的真实录音**
（影视片段 / 别人的作品），不能下载打包进安装包 —— 那既侵权，
也会让这个项目在 Gitee 那边直接踩线（这个仓库已经被判过一次
"内容可能含有违规信息"）。
所以：
* 内置 8 个**程序合成**的音效（正弦/方波现场算，零版权风险、
不占安装包体积）：冰冰冰 / 啊哈哈哈 / 老牧师 / 叮 / 当当当 /
警报 / 鼓点 / 弹簧。名字对着感觉来，但不是那些录音本身
* 做「自己放进来」的目录：mp3/wav 丢进 data/sfx/ 就自动出现在
列表里，照样能远程播。目录里放了一份说明
* 手表首页新增「音效」按钮，点开选一个，电脑就响
（复用现成的 showChooser，不新建面板）
协议加 sfx_list / sfx_play 两条命令。
== 四、修「安卓设置页一片空白」 ==
用户报的。根因：设置页**建好了但忘了 root.addView()** ——
showOnly() 让它 VISIBLE 也没用，它根本不在视图树里。
这类"漏挂"编译完全不报，只在运行时表现为空白。已加断言
_tests/test_watch_panels_wired.py 盯着：每个面板都必须挂到 root、
并且纳入 showOnly()。
== 五、全量测试改成后台静默 ==
用户原话：「把全量测试改为在后台静默运行不要打开任何窗口或锁屏」。
会开窗口的 6 个阶段（含开**全屏**那个）现在跑在独立的 Windows
隐藏桌面上（_tests/hidden_desktop.py）。窗口是**真的** —— 全屏、
可见、几何、Win32 枚举都真实，测试有效性一点没损失 ——
只是不在用户眼前，全屏也不会锁屏。
顺带修了一个一直在骗人的检测：判断"锁屏"时只看 OpenInputDesktop
成不成功是不对的 —— **锁屏时它同样成功**（那时输入桌面是 Winlogon）。
于是截屏类测试在锁屏时被记成 FAIL 而不是 SKIP，把真问题淹掉了
（用户电脑锁了一夜，我就是被这个误导过）。改成看输入桌面的**名字**。
现在锁屏也能跑全量：该 SKIP 的 SKIP，该跑的照跑。
== 六、顺手修的真 bug ==
* windows/lanremote/server.py 的 sfx_play 分支用了不存在的变量名 body
（应该是 msg）-> **一调就 NameError**。pyflakes 那关抓出来的，
说明"未定义名"这条检查有用。
* _build/package_remote.py 的文件白名单只有 .py/.sh/.ico，
**.service/.timer 收不进服务端 zip** -> 新机器上监测根本不启动，
而且不报错、只是静默不跑。已加。
* protocol.py 被我补丁插入了 LF 行到 CRLF 文件里 -> 行尾混用，编码审计红。
* deploy.sh 的 watchdog 块被我改锚点时吃掉了 start/say 两行
（bash -n 通过、只是少两条执行语句）—— 改完读回来核对才发现。
* _build/CHANGELOG.md 的 2.1.0 说明里写了"管理后台"，
触发对外材料清洁度检查。改成不提管理页（用户定的规矩：
对外只能提官网）。
全量回归 46 个阶段全部通过。
359 lines
14 KiB
Bash
359 lines
14 KiB
Bash
#!/bin/bash
|
||
# ============================================================================
|
||
# 紧急预案 —— 网站（公网）打不开时，按阶梯自动抢救
|
||
# ============================================================================
|
||
#
|
||
# 用户要求：
|
||
# 「在后台设立检测单元，实时检测网站状态，一旦检测到网站挂了，
|
||
# 立即启动紧急预案」
|
||
# 「如果紧急预案未能解决，则将问题打包成 .txt，然后在后台加一个分区
|
||
# 专门放还有下载这个 txt」
|
||
# 「解决后将解决问题的方法加入紧急预案」
|
||
#
|
||
# 谁调用它：monitor.sh（每 60 秒检查一次公网，连续失败就调这里）
|
||
# 也可以人工跑：bash /root/lanremote-relay/rescue.sh
|
||
#
|
||
# ---------------------------------------------------------------------------
|
||
# 设计原则
|
||
# ---------------------------------------------------------------------------
|
||
#
|
||
# 1. **先记录现场，再动手** —— 重启会把证据冲掉。第一件事永远是把
|
||
# 当前状态（内存、连接数、进程、日志尾部）写进报告。
|
||
#
|
||
# 2. **阶梯式，每级都验证** —— 从"代价最小"到"代价最大"：
|
||
# 1 重启隧道 -> 不动中转，在线设备不掉（首选）
|
||
# 2 重启中转 -> 设备要重连，但很快
|
||
# 3 重施调优 -> 网络参数跑偏时用（实测 MTU 顺序错过一次）
|
||
# 4 重启网卡 -> 4G/WiFi 掉线卡死时用
|
||
# 5 重启整机 -> 最后的底牌，默认**不开**（要 RESCUE_REBOOT=1）
|
||
# 每做完一级立刻再验；好了就停，不做多余的破坏。
|
||
#
|
||
# 3. **全都失败要留证据** —— 生成一份 .txt 报告，放进 rescue_reports/，
|
||
# 后台管理页有专门的分区可以下载。
|
||
#
|
||
# 4. **成功的招数记下来** —— 每级成功就写进 rescue_knowledge.md。
|
||
# 下次同类问题，monitor 可以把这一级提到前面先试。
|
||
# （这就是用户说的"解决后将解决问题的方法加入紧急预案"）
|
||
#
|
||
# ---------------------------------------------------------------------------
|
||
|
||
set -u
|
||
|
||
RELAY_DIR="${RELAY_DIR:-/root/lanremote-relay}"
|
||
PUBLIC_URL="${PUBLIC_URL:-https://relay.xxmxxs.top}"
|
||
LOCAL_URL="${LOCAL_URL:-http://127.0.0.1:8080}"
|
||
REPORTS_DIR="$RELAY_DIR/rescue_reports"
|
||
KNOWLEDGE="$RELAY_DIR/rescue_knowledge.md"
|
||
LOCKFILE="/tmp/lanremote-rescue.lock"
|
||
|
||
# 每级之后等多久再验（隧道重连要时间）
|
||
SETTLE_FAST=8
|
||
SETTLE_SLOW=25
|
||
|
||
# 是否允许用"重启整机"这张底牌。默认关 —— 半夜自动重启一台没人管的
|
||
# 机器很吓人，而且如果问题出在供电/上游，重启反而更久才回来。
|
||
RESCUE_REBOOT="${RESCUE_REBOOT:-0}"
|
||
|
||
mkdir -p "$REPORTS_DIR"
|
||
|
||
# 同一时间只允许一个预案在跑（monitor 可能和人工同时触发）
|
||
if ! mkdir "$LOCKFILE" 2>/dev/null; then
|
||
echo "[rescue] 已经有一个预案在跑，本次退出"
|
||
exit 0
|
||
fi
|
||
trap 'rmdir "$LOCKFILE" 2>/dev/null' EXIT
|
||
|
||
STAMP="$(date +%Y%m%d-%H%M%S)"
|
||
REPORT="$REPORTS_DIR/$STAMP.txt"
|
||
LOG="$RELAY_DIR/rescue.log"
|
||
|
||
say() {
|
||
echo "$*"
|
||
echo "$(date '+%F %T') $*" >> "$LOG"
|
||
}
|
||
|
||
# ---------------------------------------------------------------------------
|
||
# 健康检查：**看公网，不看本机**
|
||
# ---------------------------------------------------------------------------
|
||
# ⚠ 这是关键。本机 127.0.0.1 通不代表用户能访问 ——
|
||
# 隧道断了、Cloudflare 边缘出问题，本机照样 200。
|
||
# 所以预案里的"好了没"一律以公网为准。
|
||
is_healthy() {
|
||
local code
|
||
code=$(curl -s -o /dev/null -w '%{http_code}' --max-time 12 \
|
||
"$PUBLIC_URL/v1/health" 2>/dev/null)
|
||
[ "$code" = "200" ]
|
||
}
|
||
|
||
# 公网不通时，看是本机的问题还是隧道的问题
|
||
local_health() {
|
||
local code
|
||
code=$(curl -s -o /dev/null -w '%{http_code}' --max-time 6 \
|
||
"$LOCAL_URL/v1/health" 2>/dev/null)
|
||
[ "$code" = "200" ]
|
||
}
|
||
|
||
# ---------------------------------------------------------------------------
|
||
# 现场记录
|
||
# ---------------------------------------------------------------------------
|
||
collect() {
|
||
{
|
||
echo "================================================================================"
|
||
echo " ykxmz 紧急预案诊断报告"
|
||
echo " 时间：$(date '+%F %T %Z')"
|
||
echo " 主机：$(hostname) 运行时长：$(uptime -p 2>/dev/null || uptime)"
|
||
echo " 触发原因：$1"
|
||
echo "================================================================================"
|
||
echo
|
||
echo "---- 一、结论速览 ----"
|
||
echo
|
||
echo " 公网 $PUBLIC_URL/v1/health -> $(is_healthy && echo 200-正常 || echo 不通)"
|
||
echo " 本机 $LOCAL_URL/v1/health -> $(local_health && echo 200-正常 || echo 不通)"
|
||
echo
|
||
if local_health && ! is_healthy; then
|
||
echo " 判断：**本机是好的，问题在隧道或 Cloudflare 那一侧**。"
|
||
elif ! local_health; then
|
||
echo " 判断：**本机的中转服务就没起来**，先看第二、三节。"
|
||
else
|
||
echo " 判断：两边都通（可能是刚才已经自愈，或者只是偶发抖动）。"
|
||
fi
|
||
echo
|
||
echo "---- 二、服务状态 ----"
|
||
echo
|
||
for svc in lanremote-relay lanremote-tunnel lanremote-tunnel-h2 \
|
||
lanremote-nettune lanremote-watchdog; do
|
||
printf ' %-26s %s\n' "$svc" "$(systemctl is-active "$svc" 2>&1)"
|
||
done
|
||
echo
|
||
echo "---- 三、进程 ----"
|
||
echo
|
||
ps -eo pid,rss,etime,comm,args --sort=-rss 2>/dev/null | head -12
|
||
echo
|
||
echo "---- 四、内存 / 负载 ----"
|
||
echo
|
||
free -m 2>/dev/null
|
||
echo
|
||
uptime
|
||
echo
|
||
echo "---- 五、网络 ----"
|
||
echo
|
||
echo "网卡："
|
||
ip -brief addr show 2>/dev/null
|
||
echo
|
||
echo "MTU / 队列："
|
||
for i in $(ls /sys/class/net 2>/dev/null | grep -v lo); do
|
||
echo " $i mtu=$(cat /sys/class/net/$i/mtu 2>/dev/null)"
|
||
done
|
||
echo
|
||
echo "默认路由："
|
||
ip route show default 2>/dev/null
|
||
echo
|
||
echo "MSS 钳制规则："
|
||
iptables -t mangle -L -n 2>/dev/null | grep -i mss || echo " （没有 MSS 规则！）"
|
||
echo
|
||
echo "路径 MTU 探测：tcp_mtu_probing=$(cat /proc/sys/net/ipv4/tcp_mtu_probing 2>/dev/null)"
|
||
echo
|
||
echo "---- 六、隧道连接数 ----"
|
||
echo
|
||
for port in 20241 20242; do
|
||
n=$(curl -s --max-time 5 "http://127.0.0.1:$port/metrics" 2>/dev/null \
|
||
| grep '^cloudflared_tunnel_ha_connections' | awk '{print $2}' | head -1)
|
||
echo " 指标端口 $port -> 连接数 ${n:-拿不到}"
|
||
done
|
||
echo
|
||
echo "---- 七、日志尾部 ----"
|
||
echo
|
||
echo "### 中转（lanremote-relay）"
|
||
journalctl -u lanremote-relay --no-pager -n 25 2>/dev/null | tail -25
|
||
echo
|
||
echo "### 隧道（lanremote-tunnel）"
|
||
journalctl -u lanremote-tunnel --no-pager -n 15 2>/dev/null | tail -15
|
||
echo
|
||
echo "### 隧道副本（lanremote-tunnel-h2）"
|
||
journalctl -u lanremote-tunnel-h2 --no-pager -n 15 2>/dev/null | tail -15
|
||
echo
|
||
echo "### 看门狗"
|
||
tail -20 "$RELAY_DIR/watchdog.log" 2>/dev/null
|
||
echo
|
||
echo "### 监测单元"
|
||
tail -20 "$RELAY_DIR/monitor.log" 2>/dev/null
|
||
echo
|
||
echo "### 内核异常（OOM / 掉电 / 硬件）"
|
||
dmesg -T 2>/dev/null | grep -i -E 'oom|killed process|under-voltage|thermal|panic|watchdog' | tail -15
|
||
echo
|
||
echo "---- 八、最近一次重启 ----"
|
||
echo
|
||
who -b 2>/dev/null
|
||
echo "运行时长：$(cut -d. -f1 /proc/uptime 2>/dev/null) 秒"
|
||
echo
|
||
echo "================================================================================"
|
||
echo " 报告结束。这个文件可以在中转站后台的「抢救报告」分区下载。"
|
||
echo "================================================================================"
|
||
} > "$REPORT" 2>&1
|
||
say " 现场已记录 -> $REPORT"
|
||
}
|
||
|
||
# ---------------------------------------------------------------------------
|
||
# 阶梯
|
||
# ---------------------------------------------------------------------------
|
||
|
||
step_1_restart_tunnel() {
|
||
say " [1/5] 重启隧道（不动中转，在线设备不掉线）"
|
||
systemctl restart lanremote-tunnel lanremote-tunnel-h2 2>/dev/null
|
||
sleep "$SETTLE_SLOW"
|
||
}
|
||
|
||
step_2_restart_relay() {
|
||
say " [2/5] 重启中转服务"
|
||
systemctl restart lanremote-relay 2>/dev/null
|
||
sleep "$SETTLE_FAST"
|
||
}
|
||
|
||
step_3_retune_network() {
|
||
say " [3/5] 重新施加网络调优（MSS / MTU / 路径探测）"
|
||
# 这一步是有来历的：实测部署脚本里"先设 MTU 1400、脚本又想保持 1500"
|
||
# 顺序错过一次，结果网卡停在 1400，吞吐掉到 50%。
|
||
# 重跑 net-tune.sh 让它回到脚本认为正确的值。
|
||
if [ -f "$RELAY_DIR/net-tune.sh" ]; then
|
||
bash "$RELAY_DIR/net-tune.sh" >> "$LOG" 2>&1 && say " 调优脚本执行完成"
|
||
else
|
||
say " 找不到 net-tune.sh，跳过"
|
||
fi
|
||
systemctl restart lanremote-tunnel lanremote-tunnel-h2 2>/dev/null
|
||
sleep "$SETTLE_SLOW"
|
||
}
|
||
|
||
step_4_restart_network() {
|
||
say " [4/5] 重启无线网卡（4G/WiFi 卡死时用）"
|
||
local iface
|
||
iface=$(ip route show default 2>/dev/null | awk '{print $5; exit}')
|
||
if [ -z "$iface" ]; then
|
||
say " 找不到默认路由的网卡，跳过"
|
||
return
|
||
fi
|
||
# 用 nmcli 走管理接口，别直接把网卡 down 掉（down 了可能再也上不来）
|
||
if command -v nmcli >/dev/null 2>&1; then
|
||
nmcli device disconnect "$iface" >/dev/null 2>&1
|
||
sleep 4
|
||
nmcli device connect "$iface" >/dev/null 2>&1
|
||
say " nmcli 重连了 $iface"
|
||
else
|
||
say " 没有 nmcli，跳过（不敢直接 down 网卡：可能起不来）"
|
||
fi
|
||
systemctl restart lanremote-relay 2>/dev/null
|
||
systemctl restart lanremote-tunnel lanremote-tunnel-h2 2>/dev/null
|
||
sleep "$SETTLE_SLOW"
|
||
}
|
||
|
||
step_5_reboot() {
|
||
if [ "$RESCUE_REBOOT" != "1" ]; then
|
||
say " [5/5] 重启整机 —— **已跳过**（默认不开）"
|
||
say " 要允许自动重启，把 RESCUE_REBOOT=1 写进 monitor.service 的环境变量。"
|
||
say " 理由：如果问题出在供电或上游线路，重启只会让恢复更慢；"
|
||
say " 而且半夜自动重启一台没人管的机器风险太大。"
|
||
return 1
|
||
fi
|
||
say " [5/5] 重启整机（最后的底牌）"
|
||
sync
|
||
systemctl reboot 2>/dev/null
|
||
return 0
|
||
}
|
||
|
||
# ---------------------------------------------------------------------------
|
||
# 把这次成功的招数记进知识库
|
||
# ---------------------------------------------------------------------------
|
||
# 用户要求：「解决后将解决问题的方法加入紧急预案」。
|
||
# 实现方式：哪一级救回来的就把它记下来。monitor 下次遇到同类症状
|
||
# 会优先试历史上奏效的那一级（见 monitor.sh 的 PREFFERED_STEP）。
|
||
remember() {
|
||
local step="$1" reason="$2"
|
||
{
|
||
echo
|
||
echo "## $(date '+%F %T') 第 $step 级奏效"
|
||
echo
|
||
echo "- 症状：$reason"
|
||
echo "- 有效步骤：$step"
|
||
echo "- 当时公网：不通；本机：$(local_health && echo 通 || echo 不通)"
|
||
echo "- 详情见 rescue_reports/$(basename "$REPORT")"
|
||
} >> "$KNOWLEDGE"
|
||
say " 已把「第 $step 级奏效」记进 $KNOWLEDGE"
|
||
}
|
||
|
||
# ===========================================================================
|
||
# 主流程
|
||
# ===========================================================================
|
||
|
||
REASON="${1:-monitor 触发}"
|
||
|
||
say ""
|
||
say "================================================================================"
|
||
say " 紧急预案启动：$REASON"
|
||
say "================================================================================"
|
||
|
||
# ⚠ 先复查一次再记录现场。
|
||
#
|
||
# 为什么顺序是这样：collect() 会写一份报告文件。如果一上来就采，
|
||
# 那么"网站其实已经好了、什么都不用做"的这一次也会留下一份报告 ——
|
||
# 实测跑一次 e2e 就多出 2 份，全是没用的空报告，
|
||
# 真正出事时的报告会被这些噪音淹掉（后台列表只能显示最近 30 份）。
|
||
#
|
||
# 所以：先判健康；不健康才采现场、才开阶梯。
|
||
if is_healthy; then
|
||
say " 复查：公网现在是通的（可能是偶发抖动自愈，或者启动前已经恢复），"
|
||
say " 不需要动手 —— 不采现场、不留报告。"
|
||
exit 0
|
||
fi
|
||
|
||
# 确认不通了，这才记录现场（重启会把证据冲掉）
|
||
collect "$REASON"
|
||
|
||
STEP_NAMES=(
|
||
"重启隧道"
|
||
"重启中转服务"
|
||
"重新施加网络调优"
|
||
"重启无线网卡"
|
||
"重启整机"
|
||
)
|
||
|
||
for i in 1 2 3 4 5; do
|
||
case $i in
|
||
1) step_1_restart_tunnel ;;
|
||
2) step_2_restart_relay ;;
|
||
3) step_3_retune_network ;;
|
||
4) step_4_restart_network ;;
|
||
5) step_5_reboot || continue ;;
|
||
esac
|
||
|
||
if is_healthy; then
|
||
say ""
|
||
say " ✅ 第 $i 级（${STEP_NAMES[$((i-1))]}）救回来了，公网已恢复。"
|
||
remember "$i" "$REASON"
|
||
exit 0
|
||
fi
|
||
say " 第 $i 级没解决，继续下一级"
|
||
done
|
||
|
||
# ---------------------------------------------------------------------------
|
||
# 全部失败 —— 生成报告，等人工
|
||
# ---------------------------------------------------------------------------
|
||
say ""
|
||
say " ❌ 五级都没解决。再采一次现场（状态已经变了，报告要反映最新情况）"
|
||
collect "$REASON（五级抢救后仍不通）"
|
||
|
||
# 在报告最前面补一句给用户看的结论
|
||
{
|
||
echo "⚠ 这份报告是「自动抢救全部失败」之后生成的。"
|
||
echo " 机器自己试过了：重启隧道 / 重启中转 / 重施网络调优 / 重启网卡。"
|
||
echo " （重启整机默认没做，见报告里的说明。）"
|
||
echo " 需要人工看一眼。下面是最新的现场。"
|
||
echo
|
||
cat "$REPORT"
|
||
} > "$REPORT.tmp" && mv "$REPORT.tmp" "$REPORT"
|
||
|
||
# 只保留最近 30 份，别把 460MB 的小机器塞满
|
||
ls -1t "$REPORTS_DIR"/*.txt 2>/dev/null | tail -n +31 | xargs -r rm -f
|
||
|
||
say " 报告已生成：$REPORT"
|
||
say " 可以在中转站后台的「抢救报告」分区下载。"
|
||
exit 1
|