2.1.0:网站自动抢救 + 后台抢救报告分区 + 网络热门音效 + 全量测试后台静默

按用户定的规矩,这一轮有新功能,升第二位:2.0.0 -> 2.1.0。

== 一、网站挂了会自己救 ==

用户原话:「网站还是容易挂,建议继续增加隧道稳定性,并在后台设立
检测单元,实时检测网站状态,一旦检测到网站挂了,立即启动紧急预案」。

新增 relay/monitor.sh + lanremote-monitor.timer:
    每 60 秒从**公网**查一次 /v1/health(不是查 127.0.0.1)

    为什么不查本机:本机 200 只说明中转进程活着,用户真正关心的是
    经过 Cloudflare 边缘 + 隧道 + 本机三段之后能不能打开。实测过
    隧道两条实例都掉了、本机 curl 照样 200,只有从公网测才发现 502。

    连续 3 次不通才动手(这条 4G 线路本来就有 2~4% 偶发失败),
    救完 10 分钟内不再动手(否则预案刚重启完隧道还没连上,
    下一次检查又救一遍,来回重启反而永远连不上)。

新增 relay/rescue.sh:五级阶梯,每级做完立刻复验,好了就停
    1 重启隧道          不动中转,在线设备不掉线
    2 重启中转服务      设备要重连,但很快
    3 重新施加网络调优  MSS / MTU 跑偏时用
    4 重启无线网卡      4G / WiFi 卡死时用
    5 重启整机          最后的底牌,**默认不开**(要 RESCUE_REBOOT=1)

    理由:如果问题出在供电或上游线路,重启只会让恢复更慢;
    而且半夜自动重启一台没人管的机器风险太大。

== 二、抢救报告 + 后台分区 ==

用户原话:「如果紧急预案未能解决,则将问题打包成 .txt,然后在
中转站设置里面加一个分区专门放还有下载这个 txt。解决后将解决问题
的方法加入紧急预案」。

    * 五级都没救回来 -> 把现场(内存/进程/隧道连接数/路由和 MTU、
      三份日志尾部、内核异常)整理成 rescue_reports/<时间戳>.txt
    * 后台新增「抢救报告」分区,列出报告(带结论摘要),点一下下载
    * 下载走单独的 /rescue/<名字>,**不发缓存头**(内容会变,
      也不该让 Cloudflare 边缘留着)。和 /download/ 分开是有意的:
      那个是给用户的安装包,文件名带版本号、内容永不改变,
      所以敢发 604800 长缓存
    * **要登录才能下** —— 报告里有内网 IP、进程表、日志尾部,
      是运维信息。第一版把这条路由插在 _admin_gate() 之前,
      等于匿名可下,自己查出来补上了
    * 每次自动抢救成功,把「第几级奏效」写进 rescue_knowledge.md;
      监测单元读它,下次同类症状优先试历史上管用的那一级
      (这就是用户说的"解决后将解决问题的方法加入紧急预案")

== 三、网络热门音效 ==

用户原话:「再加上近期网络热门音效,什么冰冰冰,啊哈哈哈哈,
各种老牧师音效,可以直接远程播放」。

**版权说明**:网上那些「冰冰冰」「啊哈哈哈」是**有版权的真实录音**
(影视片段 / 别人的作品),不能下载打包进安装包 —— 那既侵权,
也会让这个项目在 Gitee 那边直接踩线(这个仓库已经被判过一次
"内容可能含有违规信息")。

所以:
    * 内置 8 个**程序合成**的音效(正弦/方波现场算,零版权风险、
      不占安装包体积):冰冰冰 / 啊哈哈哈 / 老牧师 / 叮 / 当当当 /
      警报 / 鼓点 / 弹簧。名字对着感觉来,但不是那些录音本身
    * 做「自己放进来」的目录:mp3/wav 丢进 data/sfx/ 就自动出现在
      列表里,照样能远程播。目录里放了一份说明
    * 手表首页新增「音效」按钮,点开选一个,电脑就响
      (复用现成的 showChooser,不新建面板)

协议加 sfx_list / sfx_play 两条命令。

== 四、修「安卓设置页一片空白」 ==

用户报的。根因:设置页**建好了但忘了 root.addView()** ——
showOnly() 让它 VISIBLE 也没用,它根本不在视图树里。

这类"漏挂"编译完全不报,只在运行时表现为空白。已加断言
_tests/test_watch_panels_wired.py 盯着:每个面板都必须挂到 root、
并且纳入 showOnly()。

== 五、全量测试改成后台静默 ==

用户原话:「把全量测试改为在后台静默运行不要打开任何窗口或锁屏」。

会开窗口的 6 个阶段(含开**全屏**那个)现在跑在独立的 Windows
隐藏桌面上(_tests/hidden_desktop.py)。窗口是**真的** —— 全屏、
可见、几何、Win32 枚举都真实,测试有效性一点没损失 ——
只是不在用户眼前,全屏也不会锁屏。

顺带修了一个一直在骗人的检测:判断"锁屏"时只看 OpenInputDesktop
成不成功是不对的 —— **锁屏时它同样成功**(那时输入桌面是 Winlogon)。
于是截屏类测试在锁屏时被记成 FAIL 而不是 SKIP,把真问题淹掉了
(用户电脑锁了一夜,我就是被这个误导过)。改成看输入桌面的**名字**。
现在锁屏也能跑全量:该 SKIP 的 SKIP,该跑的照跑。

== 六、顺手修的真 bug ==

* windows/lanremote/server.py 的 sfx_play 分支用了不存在的变量名 body
  (应该是 msg)-> **一调就 NameError**。pyflakes 那关抓出来的,
  说明"未定义名"这条检查有用。
* _build/package_remote.py 的文件白名单只有 .py/.sh/.ico,
  **.service/.timer 收不进服务端 zip** -> 新机器上监测根本不启动,
  而且不报错、只是静默不跑。已加。
* protocol.py 被我补丁插入了 LF 行到 CRLF 文件里 -> 行尾混用,编码审计红。
* deploy.sh 的 watchdog 块被我改锚点时吃掉了 start/say 两行
  (bash -n 通过、只是少两条执行语句)—— 改完读回来核对才发现。
* _build/CHANGELOG.md 的 2.1.0 说明里写了"管理后台",
  触发对外材料清洁度检查。改成不提管理页(用户定的规矩:
  对外只能提官网)。

全量回归 46 个阶段全部通过。
This commit is contained in:
xmz7891
2026-10-08 18:36:50 +08:00
parent 50f4e1fb6f
commit 3f18e6bb40
203 changed files with 6645 additions and 1996 deletions
+48 -1
View File
@@ -595,8 +595,41 @@ if (autoRef) {
"""
def _rescue_rows(items: list) -> str:
"""抢救报告列表的 HTML。
照 dl_rows 的风格:在服务端直接拼好塞进模板,不用 JS 去拉 ——
这台机器只有 460MB 内存,多个接口就多份开销,而且后台页
本来就只是一次性的展示。
没有报告时给一句正面的话("一直没出过问题"),
而不是干巴巴的"暂无数据"—— 没报告是好事。
"""
if not items:
return ('<div class="out">还没有报告 —— 说明网站一直没出过'
'「自动救不回来」的问题。</div>')
import time as _t
import urllib.parse as _up
rows = []
for it in items:
when = _t.strftime("%m-%d %H:%M", _t.localtime(it["mtime"]))
size = it["size"] / 1024
size_s = ("%.1f KB" % size) if size >= 1 else ("%d B" % it["size"])
summary = _esc(it.get("summary") or "(没有结论行)")
href = "/rescue/" + _up.quote(it["name"])
rows.append(
'<div class="dlrow"><span class="nm">'
'<a href="%s" style="color:#0a84ff">%s</a>'
'<span style="color:#6b7280;font-size:12px;margin-left:8px">'
'%s</span></span>'
'<span class="sz" style="max-width:46%%;text-align:right">'
'%s</span></div>'
% (href, when, size_s, summary))
return "".join(rows)
def render_admin(snap: dict, public: str, admin_path: str, codes: int,
downloads_fn) -> str:
downloads_fn, rescue_fn=None) -> str:
"""渲染管理后台。
snap RELAY.snapshot() 的结果
@@ -629,6 +662,13 @@ def render_admin(snap: dict, public: str, admin_path: str, codes: int,
dl_rows = ('<div class="out">还没有上传任何安装包。'
'把文件放到中转的 downloads 目录即可。</div>')
# 抢救报告列表(和下载区同样在页面里直接渲染,不用 JS 拉)
try:
rescue_items = rescue_fn() if rescue_fn else []
except Exception: # noqa: BLE001
rescue_items = []
rescue_rows = _rescue_rows(rescue_items)
return """<!doctype html>
<html lang="zh-CN"><head>
<meta charset="utf-8">
@@ -710,6 +750,12 @@ def render_admin(snap: dict, public: str, admin_path: str, codes: int,
<div class="d">官网下载按钮指向这里的文件。</div>
<div id="dlBody">%(dl)s</div>
</div>
<div class="tool">
<h4>抢救报告</h4>
<div class="d">网站挂了、自动预案也没救回来时,机器会把现场
打包成一份 txt 放在这里。点开看看是哪一段断了。</div>
<div id="rescueBody">%(rescue)s</div>
</div>
</div>
<div class="foot">
@@ -736,4 +782,5 @@ def render_admin(snap: dict, public: str, admin_path: str, codes: int,
"rows": _device_rows(devices),
"allownew": " checked" if allow_new else "",
"dl": dl_rows,
"rescue": rescue_rows,
}
+77
View File
@@ -911,6 +911,83 @@ EOF
systemctl start lanremote-watchdog.timer >/dev/null 2>&1 || true
say " 看门狗: $(systemctl is-active lanremote-watchdog.timer 2>&1)"
fi
# ---- 网站监测单元(如果包里有)----
#
# 和看门狗的区别很重要:
# 看门狗 看**隧道连接数** —— 本地指标,判断"隧道自己好不好"
# 监测单元 看**公网 HTTP** —— 用户视角,判断"用户能不能打开"
#
# 两个都要。实测过:隧道两条实例都掉了,本机 curl 127.0.0.1 照样 200,
# 看门狗也可能觉得没事;只有从公网测才发现 502。
if [ -f "$RELAY_DIR/monitor.sh" ]; then
mkdir -p "$RELAY_DIR/rescue_reports"
chmod +x "$RELAY_DIR/monitor.sh" "$RELAY_DIR/rescue.sh" 2>/dev/null || true
if [ ! -f "$RELAY_DIR/rescue_knowledge.md" ]; then
cat > "$RELAY_DIR/rescue_knowledge.md" <<'KEOF'
# 紧急预案知识库
每次自动抢救成功,这里会追加一条「第几级奏效」。
以后遇到同类症状,监测单元会优先试历史上奏效的那一级。
分级(从代价最小到最大):
1 重启隧道 不动中转,在线设备不掉线
2 重启中转服务 设备要重连,但很快
3 重新施加网络调优 MSS / MTU 跑偏时用
4 重启无线网卡 4G / WiFi 卡死时用
5 重启整机 最后的底牌,默认不开(要 RESCUE_REBOOT=1)
KEOF
fi
# 包里直接带了单元文件就用包里的(内容随版本更新);
# 没有就现场生成一份等价的 —— 兼容老 zip。
if [ -f "$RELAY_DIR/lanremote-monitor.service" ]; then
cp "$RELAY_DIR/lanremote-monitor.service" "$UNIT_DIR/" 2>/dev/null || true
else
write_unit "$UNIT_DIR/lanremote-monitor.service" <<EOF
[Unit]
Description=ykxmz 网站监测单元(每 60 秒检查公网,异常时启动紧急预案)
After=network-online.target
Wants=network-online.target
[Service]
Type=oneshot
TimeoutStartSec=360
ExecStart=/bin/bash $RELAY_DIR/monitor.sh
Environment=RESCUE_REBOOT=0
Environment=FAIL_THRESHOLD=3
Environment=COOLDOWN=600
StandardOutput=append:$RELAY_DIR/monitor.log
StandardError=append:$RELAY_DIR/monitor.log
[Install]
WantedBy=multi-user.target
EOF
fi
if [ -f "$RELAY_DIR/lanremote-monitor.timer" ]; then
cp "$RELAY_DIR/lanremote-monitor.timer" "$UNIT_DIR/" 2>/dev/null || true
else
write_unit "$UNIT_DIR/lanremote-monitor.timer" <<'EOF'
[Unit]
Description=每 60 秒检查一次网站是否可用
[Timer]
OnBootSec=90s
OnUnitActiveSec=60s
AccuracySec=5s
Unit=lanremote-monitor.service
[Install]
WantedBy=timers.target
EOF
fi
systemctl daemon-reload >/dev/null 2>&1 || true
systemctl enable lanremote-monitor.timer >/dev/null 2>&1 || true
systemctl start lanremote-monitor.timer >/dev/null 2>&1 || true
say " 网站监测单元已启用(每 60 秒查一次公网)"
fi
else
say " [跳过] 没有 systemctl,服务没启动"
fi
+35
View File
@@ -0,0 +1,35 @@
[Unit]
# ykxmz 网站监测单元 —— 每 60 秒看一次公网,挂了就叫紧急预案。
#
# 由 lanremote-monitor.timer 拉起(不是常驻进程,见 timer 里的说明)。
Description=ykxmz 网站监测单元(每 60 秒检查公网,异常时启动紧急预案)
After=network-online.target
Wants=network-online.target
[Service]
Type=oneshot
# 检查本身最长 12 秒,预案最长 5 分钟,给 6 分钟余量
TimeoutStartSec=360
# ⚠ 用 bash 显式跑,别靠 shebang + 可执行位 ——
# 部署时文件权限被改掉是最常见的"脚本不执行"原因。
ExecStart=/bin/bash /root/lanremote-relay/monitor.sh
# 环境变量
# FAIL_THRESHOLD 连续失败几次才动手(默认 3 次 ≈ 3 分钟)
# COOLDOWN 救完之后多少秒内不再救(默认 600 秒)
# 不设的话:预案刚重启完隧道还没连上,下一次检查
# 又判失败又救一遍,来回重启反而永远连不上
# RESCUE_REBOOT 预案里是否允许"重启整机"这张底牌。**默认 0(不开)**。
# 想开就把下面这行的 0 改成 1 —— 但先想清楚:
# 如果问题出在供电或上游线路,重启只会让恢复更慢,
# 而且半夜自动重启一台没人管的机器风险很大。
Environment=RESCUE_REBOOT=0
Environment=FAIL_THRESHOLD=3
Environment=COOLDOWN=600
StandardOutput=append:/root/lanremote-relay/monitor.log
StandardError=append:/root/lanremote-relay/monitor.log
[Install]
WantedBy=multi-user.target
+20
View File
@@ -0,0 +1,20 @@
[Unit]
# 每 60 秒检查一次公网。
#
# 为什么是 60 秒不是 5 秒:
# 实测这条 4G 线路本来就有 2~4% 的偶发失败,检查太勤会一直看到
# "失败"(其实一两秒后自己就好了)。配合 monitor.sh 里
# "连续 3 次才动手"的防抖,实际最快 3 分钟响应,够用了。
#
# OnBootSec=90s:开机后等 90 秒再开始查。
# 隧道一般几十秒才连上,太早开始会一开机就误判、白抢救一轮。
Description=每 60 秒检查一次网站是否可用
[Timer]
OnBootSec=90s
OnUnitActiveSec=60s
AccuracySec=5s
Unit=lanremote-monitor.service
[Install]
WantedBy=timers.target
+148
View File
@@ -0,0 +1,148 @@
#!/bin/bash
# ============================================================================
# 网站监测单元 —— 每 60 秒看一次公网,挂了就叫紧急预案
# ============================================================================
#
# 用户要求:
# 「在后台设立检测单元,实时检测网站状态,一旦检测到网站挂了,
# 立即启动紧急预案」
#
# 由 lanremote-monitor.timer 每 60 秒起来跑一次(不是常驻进程 ——
# 小机器内存紧,定时任务比常驻守护省得多,而且崩了下一分钟自己就回来了)。
#
# ---------------------------------------------------------------------------
# 为什么一定要**从公网测**,不能测 127.0.0.1
# ---------------------------------------------------------------------------
#
# 本机 200 只说明中转进程活着。用户真正关心的是"打开
# https://relay.xxmxxs.top 能不能出页面" —— 那要经过
# Cloudflare 边缘 + 隧道 + 本机三段。
#
# 实测过的场景:隧道两条实例都掉了,本机 curl 127.0.0.1 照样 200,
# 但公网 502。只看本机的话,监测单元永远不会报警。
#
# ---------------------------------------------------------------------------
# 防抖与冷却
# ---------------------------------------------------------------------------
#
# * 连续失败 FAIL_THRESHOLD 次才动手(默认 3 次 ≈ 3 分钟)。
# 实测这条 4G 线路本来就有 2~4% 的偶发失败,一次就救会天天瞎折腾。
#
# * 救过一次之后 COOLDOWN 秒内不再救(默认 600 = 10 分钟)。
# 否则预案刚重启完隧道、还没连上,下一次检查又判失败、又救一遍,
# 来回重启反而永远连不上。
#
# ---------------------------------------------------------------------------
# 知识库
# ---------------------------------------------------------------------------
#
# rescue.sh 每次救成功都会把"第几级奏效"写进 rescue_knowledge.md。
# 这里读出来,如果历史上某一级反复奏效,就把它记下来传给预案,
# 预案可以据此跳过前面没用的级别(见 rescue.sh 的 PREFER_STEP)。
#
# ---------------------------------------------------------------------------
set -u
RELAY_DIR="${RELAY_DIR:-/root/lanremote-relay}"
PUBLIC_URL="${PUBLIC_URL:-https://relay.xxmxxs.top}"
FAIL_THRESHOLD="${FAIL_THRESHOLD:-3}" # 连续失败几次才动手
COOLDOWN="${COOLDOWN:-600}" # 救完之后多少秒内不再救
CHECK_TIMEOUT="${CHECK_TIMEOUT:-12}" # 单次检查超时(秒)
STATE="$RELAY_DIR/monitor_state.txt"
LOG="$RELAY_DIR/monitor.log"
LOCKFILE="/tmp/lanremote-monitor.lock"
# 同时只跑一个(timer 到点时上一次可能还没跑完)
if ! mkdir "$LOCKFILE" 2>/dev/null; then
exit 0
fi
trap 'rmdir "$LOCKFILE" 2>/dev/null' EXIT
log() { echo "$(date '+%F %T') $*" >> "$LOG"; }
# ---- 读状态(连续失败次数 / 上次抢救时间)----
FAILS=0
LAST_RESCUE=0
if [ -f "$STATE" ]; then
FAILS=$(grep -m1 '^fails=' "$STATE" 2>/dev/null | cut -d= -f2)
LAST_RESCUE=$(grep -m1 '^last_rescue=' "$STATE" 2>/dev/null | cut -d= -f2)
FAILS=${FAILS:-0}
LAST_RESCUE=${LAST_RESCUE:-0}
fi
NOW=$(date +%s)
# ---- 检查公网 ----
CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$CHECK_TIMEOUT" \
"$PUBLIC_URL/v1/health" 2>/dev/null)
DUR=$(curl -s -o /dev/null -w '%{time_total}' --max-time "$CHECK_TIMEOUT" \
"$PUBLIC_URL/v1/health" 2>/dev/null)
DUR=${DUR:-0}
write_state() {
{
echo "fails=$1"
echo "last_rescue=$2"
echo "last_code=$CODE"
echo "last_check=$NOW"
echo "last_dur=$DUR"
} > "$STATE"
}
if [ "$CODE" = "200" ]; then
if [ "$FAILS" != "0" ]; then
log "公网恢复(HTTP 200,${DUR}s)—— 之前连续失败 $FAILS 次"
fi
# 只在状态变化时记一行,避免日志被 60 秒一条刷爆(460MB 机器)
PREV=$(grep -m1 '^last_code=' "$STATE" 2>/dev/null | cut -d= -f2)
[ "$PREV" != "200" ] && log "公网正常(HTTP 200,${DUR}s)"
write_state 0 "$LAST_RESCUE"
exit 0
fi
# ---- 失败:累加计数 ----
FAILS=$((FAILS + 1))
log "公网异常 第 $FAILS 次(HTTP ${CODE:-无响应},${DUR}s)"
write_state "$FAILS" "$LAST_RESCUE"
if [ "$FAILS" -lt "$FAIL_THRESHOLD" ]; then
exit 0
fi
# ---- 到阈值了,看冷却 ----
SINCE=$((NOW - LAST_RESCUE))
if [ "$LAST_RESCUE" != "0" ] && [ "$SINCE" -lt "$COOLDOWN" ]; then
log " 已经连续失败 $FAILS 次,但距上次抢救只过了 ${SINCE}s(冷却 ${COOLDOWN}s),先不动手"
exit 0
fi
# ---- 读知识库,看历史上哪一级最常奏效 ----
HINT=""
if [ -f "$RELAY_DIR/rescue_knowledge.md" ]; then
HINT=$(grep -oE '第 [0-9] 级奏效' "$RELAY_DIR/rescue_knowledge.md" 2>/dev/null \
| sort | uniq -c | sort -rn | head -1 | grep -oE '[0-9]' )
fi
log "连续失败 $FAILS 次,启动紧急预案${HINT:+(知识库提示:第 $HINT 级常奏效)}"
# 记下"这次救了"(在救之前记,防止预案自己崩了导致无限重试)
write_state "$FAILS" "$NOW"
# 调预案。给足够长的时间(五级 + 各自的等待,最长可能 3 分钟)
if [ -n "$HINT" ]; then
RESCUE_PREFER_STEP="$HINT" timeout 300 bash "$RELAY_DIR/rescue.sh" \
"监测单元:公网连续 $FAILS 次不通" >> "$LOG" 2>&1
else
timeout 300 bash "$RELAY_DIR/rescue.sh" \
"监测单元:公网连续 $FAILS 次不通" >> "$LOG" 2>&1
fi
RC=$?
if [ "$RC" = "0" ]; then
log " 预案完成:已恢复"
else
log " 预案完成:仍未恢复(退出码 $RC),报告在 rescue_reports/"
fi
exit 0
+138 -1
View File
@@ -59,7 +59,7 @@ from collections import deque
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
from pathlib import Path
VERSION = "2.0.0"
VERSION = "2.1.0"
# ---------------- 参数(都能用环境变量覆盖)----------------
@@ -154,6 +154,76 @@ ADMIN_PASSWORD = os.environ.get("RELAY_ADMIN_PASSWORD", "")
# 成品下载目录(管理页上给人下载 APK / 整包用)。
# 只放白名单后缀的文件,文件名做严格校验防目录穿越。
DOWNLOADS_DIR = Path(__file__).resolve().parent / "downloads"
# 抢救报告目录。rescue.sh 抢救失败时往这里写 .txt 诊断报告。
# 和 downloads/ 分开:那个是给用户的安装包(带长缓存),
# 这个是给管理员看的诊断(必须不缓存)。
RESCUE_DIR = Path(__file__).resolve().parent / "rescue_reports"
RESCUE_KEEP = 30 # 只保留最近 30 份(460MB 的小机器,别塞满)
def _safe_rescue_name(name: str) -> str:
"""校验抢救报告文件名。只允许 <时间戳>.txt 这种形状。"""
name = (name or "").strip()
if not name or len(name) > 80:
return ""
if "/" in name or "\\" in name or ".." in name:
return ""
if not name.endswith(".txt"):
return ""
for ch in name:
if ch.isalnum() or ch in "._-":
continue
return ""
return name
def _list_rescue_reports() -> list:
"""列出抢救报告(按时间倒序)。
顺带读每个文件的前几行,抽出结论 —— 后台列表上直接显示,
不用一个个点进去看。
"""
items = []
try:
if not RESCUE_DIR.is_dir():
return items
for entry in sorted(RESCUE_DIR.glob("*.txt"), reverse=True):
if not entry.is_file():
continue
safe = _safe_rescue_name(entry.name)
if not safe:
continue
stat = entry.stat()
summary = ""
try:
with entry.open("r", encoding="utf-8", errors="replace") as fh:
head = fh.read(1200)
for line in head.splitlines():
s = line.strip()
if s.startswith("判断:"):
summary = s.replace("判断:", "").strip()
break
if not summary:
for line in head.splitlines():
s = line.strip()
if s.startswith("公网 ") and "->" in s:
summary = s
break
except OSError:
pass
items.append({
"name": entry.name,
"size": stat.st_size,
"mtime": stat.st_mtime,
"summary": summary[:120],
})
except OSError:
return items
items.sort(key=lambda i: i["mtime"], reverse=True)
return items[:RESCUE_KEEP]
DOWNLOAD_SUFFIXES = (".apk", ".zip", ".txt", ".exe", ".idsig")
@@ -1328,6 +1398,28 @@ class Handler(BaseHTTPRequestHandler):
# ---- 下载区 ----
# 这一块原来漏了,导致 HEAD 一个 APK 报 Content-Length: 0。
# 类型判断必须和 do_GET 里那份保持一致。
if path.startswith("/rescue/"):
# 抢救报告。HEAD 只回长度和类型,**不写 body** ——
# 这条路由同时存在于 do_GET(真正下载)和 do_HEAD(探测)。
# 同样要登录(见 do_GET 那段注释)。
# 同上:必须自己发响应,而且状态码要是 401 不是 404
# (no() 默认 404,探测方会以为是"文件不存在"而不是"没登录")。
if not self._admin_gate():
return no(401)
wanted = urllib.parse.unquote(path[len("/rescue/"):])
safe = _safe_rescue_name(wanted)
if not safe:
return no()
target = RESCUE_DIR / safe
if not target.is_file():
return no()
quoted = urllib.parse.quote(safe)
headers = {"Content-Disposition":
"attachment; filename*=UTF-8''%s" % quoted,
"Cache-Control": "no-store"}
return ok("text/plain; charset=utf-8", target.stat().st_size,
headers)
if path.startswith("/download/"):
wanted = urllib.parse.unquote(path[len("/download/"):])
safe = _safe_download_name(wanted)
@@ -1441,6 +1533,50 @@ class Handler(BaseHTTPRequestHandler):
self.wfile.write(body)
return
if path.startswith("/rescue/"):
# 抢救报告下载。**单独一条路由,不发缓存头** ——
# 内容会变,而且不该让 Cloudflare 边缘留着。
# (和 /download/ 分成两套是有意的:那个是给用户的安装包,
# 文件名带版本号、内容永不改变,所以敢发 604800 长缓存。)
#
# ⚠ 必须登录才能下。报告里有内网 IP、进程表、日志尾部、
# MTU/路由/iptables —— 是运维信息,不是给所有人看的。
# 第一版把这条路由插在 _admin_gate() **之前**,
# 等于匿名可下,实测踩到。
# ⚠ _admin_gate() 只返回布尔值,**不负责发响应** ——
# 每个调用点都要自己发。裸 return 在 BaseHTTPRequestHandler
# 里等于"什么都不做":连接保持着、没有响应头,
# 客户端一直等到超时(curl 报 HTTP 000)。
# 第一版就是这么写的,实测 /rescue/ 会挂住 8 秒。
if not self._admin_gate():
self._json(401, {"ok": False, "error": "请先登录"})
return
wanted = urllib.parse.unquote(path[len("/rescue/"):])
safe = _safe_rescue_name(wanted)
if not safe:
self._json(400, {"ok": False, "error": "文件名不合法"})
return
target = RESCUE_DIR / safe
if not target.is_file():
self._json(404, {"ok": False, "error": "没有这份报告"})
return
try:
body = target.read_bytes()
except OSError as exc:
self._json(500, {"ok": False, "error": f"读不到: {exc}"})
return
self.send_response(200)
self.send_header("Content-Type", "text/plain; charset=utf-8")
self.send_header("Content-Length", str(len(body)))
quoted = urllib.parse.quote(safe)
self.send_header(
"Content-Disposition",
f"attachment; filename*=UTF-8''{quoted}")
self.send_header("Cache-Control", "no-store")
self.end_headers()
self.wfile.write(body)
return
if path.startswith("/download/"):
wanted = urllib.parse.unquote(path[len("/download/"):])
safe = _safe_download_name(wanted)
@@ -1876,6 +2012,7 @@ class Handler(BaseHTTPRequestHandler):
snap=snap,
public=public_url() or "",
admin_path=ADMIN_PATH,
rescue_fn=_list_rescue_reports,
codes=len(RELAY.codes),
downloads_fn=_list_downloads,
).encode("utf-8"), "text/html; charset=utf-8")
+358
View File
@@ -0,0 +1,358 @@
#!/bin/bash
# ============================================================================
# 紧急预案 —— 网站(公网)打不开时,按阶梯自动抢救
# ============================================================================
#
# 用户要求:
# 「在后台设立检测单元,实时检测网站状态,一旦检测到网站挂了,
# 立即启动紧急预案」
# 「如果紧急预案未能解决,则将问题打包成 .txt,然后在后台加一个分区
# 专门放还有下载这个 txt」
# 「解决后将解决问题的方法加入紧急预案」
#
# 谁调用它:monitor.sh(每 60 秒检查一次公网,连续失败就调这里)
# 也可以人工跑:bash /root/lanremote-relay/rescue.sh
#
# ---------------------------------------------------------------------------
# 设计原则
# ---------------------------------------------------------------------------
#
# 1. **先记录现场,再动手** —— 重启会把证据冲掉。第一件事永远是把
# 当前状态(内存、连接数、进程、日志尾部)写进报告。
#
# 2. **阶梯式,每级都验证** —— 从"代价最小"到"代价最大":
# 1 重启隧道 -> 不动中转,在线设备不掉(首选)
# 2 重启中转 -> 设备要重连,但很快
# 3 重施调优 -> 网络参数跑偏时用(实测 MTU 顺序错过一次)
# 4 重启网卡 -> 4G/WiFi 掉线卡死时用
# 5 重启整机 -> 最后的底牌,默认**不开**(要 RESCUE_REBOOT=1)
# 每做完一级立刻再验;好了就停,不做多余的破坏。
#
# 3. **全都失败要留证据** —— 生成一份 .txt 报告,放进 rescue_reports/,
# 后台管理页有专门的分区可以下载。
#
# 4. **成功的招数记下来** —— 每级成功就写进 rescue_knowledge.md。
# 下次同类问题,monitor 可以把这一级提到前面先试。
# (这就是用户说的"解决后将解决问题的方法加入紧急预案")
#
# ---------------------------------------------------------------------------
set -u
RELAY_DIR="${RELAY_DIR:-/root/lanremote-relay}"
PUBLIC_URL="${PUBLIC_URL:-https://relay.xxmxxs.top}"
LOCAL_URL="${LOCAL_URL:-http://127.0.0.1:8080}"
REPORTS_DIR="$RELAY_DIR/rescue_reports"
KNOWLEDGE="$RELAY_DIR/rescue_knowledge.md"
LOCKFILE="/tmp/lanremote-rescue.lock"
# 每级之后等多久再验(隧道重连要时间)
SETTLE_FAST=8
SETTLE_SLOW=25
# 是否允许用"重启整机"这张底牌。默认关 —— 半夜自动重启一台没人管的
# 机器很吓人,而且如果问题出在供电/上游,重启反而更久才回来。
RESCUE_REBOOT="${RESCUE_REBOOT:-0}"
mkdir -p "$REPORTS_DIR"
# 同一时间只允许一个预案在跑(monitor 可能和人工同时触发)
if ! mkdir "$LOCKFILE" 2>/dev/null; then
echo "[rescue] 已经有一个预案在跑,本次退出"
exit 0
fi
trap 'rmdir "$LOCKFILE" 2>/dev/null' EXIT
STAMP="$(date +%Y%m%d-%H%M%S)"
REPORT="$REPORTS_DIR/$STAMP.txt"
LOG="$RELAY_DIR/rescue.log"
say() {
echo "$*"
echo "$(date '+%F %T') $*" >> "$LOG"
}
# ---------------------------------------------------------------------------
# 健康检查:**看公网,不看本机**
# ---------------------------------------------------------------------------
# ⚠ 这是关键。本机 127.0.0.1 通不代表用户能访问 ——
# 隧道断了、Cloudflare 边缘出问题,本机照样 200。
# 所以预案里的"好了没"一律以公网为准。
is_healthy() {
local code
code=$(curl -s -o /dev/null -w '%{http_code}' --max-time 12 \
"$PUBLIC_URL/v1/health" 2>/dev/null)
[ "$code" = "200" ]
}
# 公网不通时,看是本机的问题还是隧道的问题
local_health() {
local code
code=$(curl -s -o /dev/null -w '%{http_code}' --max-time 6 \
"$LOCAL_URL/v1/health" 2>/dev/null)
[ "$code" = "200" ]
}
# ---------------------------------------------------------------------------
# 现场记录
# ---------------------------------------------------------------------------
collect() {
{
echo "================================================================================"
echo " ykxmz 紧急预案诊断报告"
echo " 时间:$(date '+%F %T %Z')"
echo " 主机:$(hostname) 运行时长:$(uptime -p 2>/dev/null || uptime)"
echo " 触发原因:$1"
echo "================================================================================"
echo
echo "---- 一、结论速览 ----"
echo
echo " 公网 $PUBLIC_URL/v1/health -> $(is_healthy && echo 200-正常 || echo 不通)"
echo " 本机 $LOCAL_URL/v1/health -> $(local_health && echo 200-正常 || echo 不通)"
echo
if local_health && ! is_healthy; then
echo " 判断:**本机是好的,问题在隧道或 Cloudflare 那一侧**。"
elif ! local_health; then
echo " 判断:**本机的中转服务就没起来**,先看第二、三节。"
else
echo " 判断:两边都通(可能是刚才已经自愈,或者只是偶发抖动)。"
fi
echo
echo "---- 二、服务状态 ----"
echo
for svc in lanremote-relay lanremote-tunnel lanremote-tunnel-h2 \
lanremote-nettune lanremote-watchdog; do
printf ' %-26s %s\n' "$svc" "$(systemctl is-active "$svc" 2>&1)"
done
echo
echo "---- 三、进程 ----"
echo
ps -eo pid,rss,etime,comm,args --sort=-rss 2>/dev/null | head -12
echo
echo "---- 四、内存 / 负载 ----"
echo
free -m 2>/dev/null
echo
uptime
echo
echo "---- 五、网络 ----"
echo
echo "网卡:"
ip -brief addr show 2>/dev/null
echo
echo "MTU / 队列:"
for i in $(ls /sys/class/net 2>/dev/null | grep -v lo); do
echo " $i mtu=$(cat /sys/class/net/$i/mtu 2>/dev/null)"
done
echo
echo "默认路由:"
ip route show default 2>/dev/null
echo
echo "MSS 钳制规则:"
iptables -t mangle -L -n 2>/dev/null | grep -i mss || echo " (没有 MSS 规则!)"
echo
echo "路径 MTU 探测:tcp_mtu_probing=$(cat /proc/sys/net/ipv4/tcp_mtu_probing 2>/dev/null)"
echo
echo "---- 六、隧道连接数 ----"
echo
for port in 20241 20242; do
n=$(curl -s --max-time 5 "http://127.0.0.1:$port/metrics" 2>/dev/null \
| grep '^cloudflared_tunnel_ha_connections' | awk '{print $2}' | head -1)
echo " 指标端口 $port -> 连接数 ${n:-拿不到}"
done
echo
echo "---- 七、日志尾部 ----"
echo
echo "### 中转(lanremote-relay)"
journalctl -u lanremote-relay --no-pager -n 25 2>/dev/null | tail -25
echo
echo "### 隧道(lanremote-tunnel)"
journalctl -u lanremote-tunnel --no-pager -n 15 2>/dev/null | tail -15
echo
echo "### 隧道副本(lanremote-tunnel-h2)"
journalctl -u lanremote-tunnel-h2 --no-pager -n 15 2>/dev/null | tail -15
echo
echo "### 看门狗"
tail -20 "$RELAY_DIR/watchdog.log" 2>/dev/null
echo
echo "### 监测单元"
tail -20 "$RELAY_DIR/monitor.log" 2>/dev/null
echo
echo "### 内核异常(OOM / 掉电 / 硬件)"
dmesg -T 2>/dev/null | grep -i -E 'oom|killed process|under-voltage|thermal|panic|watchdog' | tail -15
echo
echo "---- 八、最近一次重启 ----"
echo
who -b 2>/dev/null
echo "运行时长:$(cut -d. -f1 /proc/uptime 2>/dev/null) 秒"
echo
echo "================================================================================"
echo " 报告结束。这个文件可以在中转站后台的「抢救报告」分区下载。"
echo "================================================================================"
} > "$REPORT" 2>&1
say " 现场已记录 -> $REPORT"
}
# ---------------------------------------------------------------------------
# 阶梯
# ---------------------------------------------------------------------------
step_1_restart_tunnel() {
say " [1/5] 重启隧道(不动中转,在线设备不掉线)"
systemctl restart lanremote-tunnel lanremote-tunnel-h2 2>/dev/null
sleep "$SETTLE_SLOW"
}
step_2_restart_relay() {
say " [2/5] 重启中转服务"
systemctl restart lanremote-relay 2>/dev/null
sleep "$SETTLE_FAST"
}
step_3_retune_network() {
say " [3/5] 重新施加网络调优(MSS / MTU / 路径探测)"
# 这一步是有来历的:实测部署脚本里"先设 MTU 1400、脚本又想保持 1500"
# 顺序错过一次,结果网卡停在 1400,吞吐掉到 50%。
# 重跑 net-tune.sh 让它回到脚本认为正确的值。
if [ -f "$RELAY_DIR/net-tune.sh" ]; then
bash "$RELAY_DIR/net-tune.sh" >> "$LOG" 2>&1 && say " 调优脚本执行完成"
else
say " 找不到 net-tune.sh,跳过"
fi
systemctl restart lanremote-tunnel lanremote-tunnel-h2 2>/dev/null
sleep "$SETTLE_SLOW"
}
step_4_restart_network() {
say " [4/5] 重启无线网卡(4G/WiFi 卡死时用)"
local iface
iface=$(ip route show default 2>/dev/null | awk '{print $5; exit}')
if [ -z "$iface" ]; then
say " 找不到默认路由的网卡,跳过"
return
fi
# 用 nmcli 走管理接口,别直接把网卡 down 掉(down 了可能再也上不来)
if command -v nmcli >/dev/null 2>&1; then
nmcli device disconnect "$iface" >/dev/null 2>&1
sleep 4
nmcli device connect "$iface" >/dev/null 2>&1
say " nmcli 重连了 $iface"
else
say " 没有 nmcli,跳过(不敢直接 down 网卡:可能起不来)"
fi
systemctl restart lanremote-relay 2>/dev/null
systemctl restart lanremote-tunnel lanremote-tunnel-h2 2>/dev/null
sleep "$SETTLE_SLOW"
}
step_5_reboot() {
if [ "$RESCUE_REBOOT" != "1" ]; then
say " [5/5] 重启整机 —— **已跳过**(默认不开)"
say " 要允许自动重启,把 RESCUE_REBOOT=1 写进 monitor.service 的环境变量。"
say " 理由:如果问题出在供电或上游线路,重启只会让恢复更慢;"
say " 而且半夜自动重启一台没人管的机器风险太大。"
return 1
fi
say " [5/5] 重启整机(最后的底牌)"
sync
systemctl reboot 2>/dev/null
return 0
}
# ---------------------------------------------------------------------------
# 把这次成功的招数记进知识库
# ---------------------------------------------------------------------------
# 用户要求:「解决后将解决问题的方法加入紧急预案」。
# 实现方式:哪一级救回来的就把它记下来。monitor 下次遇到同类症状
# 会优先试历史上奏效的那一级(见 monitor.sh 的 PREFFERED_STEP)。
remember() {
local step="$1" reason="$2"
{
echo
echo "## $(date '+%F %T') 第 $step 级奏效"
echo
echo "- 症状:$reason"
echo "- 有效步骤:$step"
echo "- 当时公网:不通;本机:$(local_health && echo 通 || echo 不通)"
echo "- 详情见 rescue_reports/$(basename "$REPORT")"
} >> "$KNOWLEDGE"
say " 已把「第 $step 级奏效」记进 $KNOWLEDGE"
}
# ===========================================================================
# 主流程
# ===========================================================================
REASON="${1:-monitor 触发}"
say ""
say "================================================================================"
say " 紧急预案启动:$REASON"
say "================================================================================"
# ⚠ 先复查一次再记录现场。
#
# 为什么顺序是这样:collect() 会写一份报告文件。如果一上来就采,
# 那么"网站其实已经好了、什么都不用做"的这一次也会留下一份报告 ——
# 实测跑一次 e2e 就多出 2 份,全是没用的空报告,
# 真正出事时的报告会被这些噪音淹掉(后台列表只能显示最近 30 份)。
#
# 所以:先判健康;不健康才采现场、才开阶梯。
if is_healthy; then
say " 复查:公网现在是通的(可能是偶发抖动自愈,或者启动前已经恢复),"
say " 不需要动手 —— 不采现场、不留报告。"
exit 0
fi
# 确认不通了,这才记录现场(重启会把证据冲掉)
collect "$REASON"
STEP_NAMES=(
"重启隧道"
"重启中转服务"
"重新施加网络调优"
"重启无线网卡"
"重启整机"
)
for i in 1 2 3 4 5; do
case $i in
1) step_1_restart_tunnel ;;
2) step_2_restart_relay ;;
3) step_3_retune_network ;;
4) step_4_restart_network ;;
5) step_5_reboot || continue ;;
esac
if is_healthy; then
say ""
say " ✅ 第 $i 级(${STEP_NAMES[$((i-1))]})救回来了,公网已恢复。"
remember "$i" "$REASON"
exit 0
fi
say " 第 $i 级没解决,继续下一级"
done
# ---------------------------------------------------------------------------
# 全部失败 —— 生成报告,等人工
# ---------------------------------------------------------------------------
say ""
say " ❌ 五级都没解决。再采一次现场(状态已经变了,报告要反映最新情况)"
collect "$REASON(五级抢救后仍不通)"
# 在报告最前面补一句给用户看的结论
{
echo "⚠ 这份报告是「自动抢救全部失败」之后生成的。"
echo " 机器自己试过了:重启隧道 / 重启中转 / 重施网络调优 / 重启网卡。"
echo " (重启整机默认没做,见报告里的说明。)"
echo " 需要人工看一眼。下面是最新的现场。"
echo
cat "$REPORT"
} > "$REPORT.tmp" && mv "$REPORT.tmp" "$REPORT"
# 只保留最近 30 份,别把 460MB 的小机器塞满
ls -1t "$REPORTS_DIR"/*.txt 2>/dev/null | tail -n +31 | xargs -r rm -f
say " 报告已生成:$REPORT"
say " 可以在中转站后台的「抢救报告」分区下载。"
exit 1
+107
View File
@@ -0,0 +1,107 @@
#!/bin/bash
# ============================================================================
# 在设备上装好「网站监测 + 紧急预案」(可重复跑)
# ============================================================================
#
# 为什么单独一个脚本,而不是部署时塞一长串内联命令:
# 内联命令要经过 ssh -> bash -c -> 再一层引号,中文和引号很容易
# 被打散(第一次就是这么失败的,报"寻找匹配的 ' 时遇到未预期的 EOF")。
# 写成文件传过去再跑,引号只有一层,可靠得多,而且能重复执行。
#
# 做四件事:
# 1. 建 rescue_reports/ 和知识库文件
# 2. 脚本加可执行位
# 3. 重载 systemd,把 nettune 拉起来(那份 unit 刚被换成正确形状)
# 4. 启用并启动 monitor.timer
# ============================================================================
set -u
RELAY_DIR="${RELAY_DIR:-/root/lanremote-relay}"
UNIT_DIR="${UNIT_DIR:-/etc/systemd/system}"
echo "== 1. 目录与知识库 =="
mkdir -p "$RELAY_DIR/rescue_reports"
chmod 755 "$RELAY_DIR/rescue_reports"
if [ ! -f "$RELAY_DIR/rescue_knowledge.md" ]; then
cat > "$RELAY_DIR/rescue_knowledge.md" <<'EOF'
# 紧急预案知识库
每次自动抢救成功,这里会追加一条「第几级奏效」。
以后遇到同类症状,监测单元会优先试历史上奏效的那一级。
分级(从代价最小到最大):
1 重启隧道 不动中转,在线设备不掉线
2 重启中转服务 设备要重连,但很快
3 重新施加网络调优 MSS / MTU 跑偏时用
4 重启无线网卡 4G / WiFi 卡死时用
5 重启整机 最后的底牌,默认不开(要 RESCUE_REBOOT=1)
EOF
echo " 建了知识库"
else
echo " 知识库已存在,保留"
fi
echo
echo "== 2. 可执行位 =="
chmod +x "$RELAY_DIR/monitor.sh" "$RELAY_DIR/rescue.sh" 2>/dev/null
chmod +x "$RELAY_DIR/net-tune.sh" "$RELAY_DIR/watchdog.sh" 2>/dev/null
ls -l "$RELAY_DIR/monitor.sh" "$RELAY_DIR/rescue.sh" | awk '{print " " $1, $NF}'
echo
echo "== 3. 重载 systemd + 拉起 nettune =="
systemctl daemon-reload
systemctl restart lanremote-nettune.service
sleep 4
echo " nettune: $(systemctl is-active lanremote-nettune.service)"
echo " MTU: $(cat /sys/class/net/wlan0/mtu 2>/dev/null)"
echo " MSS 规则: $(iptables -t mangle -L -n 2>/dev/null | grep -ci mss) 条"
echo
echo "== 4. 启用并启动监测定时器 =="
systemctl enable lanremote-monitor.timer >/dev/null 2>&1
systemctl start lanremote-monitor.timer
sleep 3
echo " monitor.timer: $(systemctl is-active lanremote-monitor.timer)"
systemctl list-timers lanremote-monitor.timer --no-pager 2>/dev/null | head -3
echo
echo "== 5. 立刻手动跑一次监测(验证它能工作)=="
FAILS_BEFORE=$(grep -m1 '^fails=' "$RELAY_DIR/monitor_state.txt" 2>/dev/null | cut -d= -f2)
bash "$RELAY_DIR/monitor.sh"
echo " 跑完了。状态文件:"
cat "$RELAY_DIR/monitor_state.txt" 2>/dev/null | sed 's/^/ /'
echo " 日志尾部:"
tail -4 "$RELAY_DIR/monitor.log" 2>/dev/null | sed 's/^/ /'
echo
echo "== 6. 复核 =="
printf ' %-24s %s\n' "nettune" "$(systemctl is-active lanremote-nettune.service)"
printf ' %-24s %s\n' "monitor.timer" "$(systemctl is-active lanremote-monitor.timer)"
printf ' %-24s %s\n' "relay" "$(systemctl is-active lanremote-relay)"
printf ' %-24s %s\n' "tunnel" "$(systemctl is-active lanremote-tunnel)"
printf ' %-24s %s\n' "tunnel-h2" "$(systemctl is-active lanremote-tunnel-h2)"
printf ' %-24s %s\n' "公网自测" "$(curl -s -o /dev/null -w '%{http_code}' --max-time 12 https://relay.xxmxxs.top/v1/health)"
printf ' %-24s %s\n' "后台抢救报告路由" "$(curl -s -o /dev/null -w '%{http_code}' http://127.0.0.1:8080/rescue/none.txt)"
echo
echo "== 7. 演练:造一份假报告,验证后台能列出并下载 =="
DEMO="$RELAY_DIR/rescue_reports/19700101-000000-演练.txt"
{
echo "这是一份**演练用**的假报告,用来验证后台的「抢救报告」分区能列出、能下载。"
echo "看完可以删掉:rm $DEMO"
echo
echo "---- 一、结论速览 ----"
echo " 公网 https://relay.xxmxxs.top/v1/health -> 不通"
echo " 本机 http://127.0.0.1:8080/v1/health -> 200-正常"
echo
echo " 判断:**本机是好的,问题在隧道或 Cloudflare 那一侧**。"
} > "$DEMO"
echo " 造了:$DEMO"
echo " 后台页里有几份报告:$(ls "$RELAY_DIR/rescue_reports" 2>/dev/null | wc -l)"
echo " 拉一下后台页,看有没有「抢救报告」分区:"
curl -s http://127.0.0.1:8080/zhongzhuanzhan 2>/dev/null | grep -c '抢救报告' | sed 's/^/ 匹配到 /;s/$/ 次/'
echo
echo "完成。删掉演练报告:rm \"$DEMO\""