mirror of
https://gitee.com/xmz7891/ykxmz.git
synced 2026-10-19 11:50:45 +00:00
2.1.0:网站自动抢救 + 后台抢救报告分区 + 网络热门音效 + 全量测试后台静默
按用户定的规矩,这一轮有新功能,升第二位:2.0.0 -> 2.1.0。
== 一、网站挂了会自己救 ==
用户原话:「网站还是容易挂,建议继续增加隧道稳定性,并在后台设立
检测单元,实时检测网站状态,一旦检测到网站挂了,立即启动紧急预案」。
新增 relay/monitor.sh + lanremote-monitor.timer:
每 60 秒从**公网**查一次 /v1/health(不是查 127.0.0.1)
为什么不查本机:本机 200 只说明中转进程活着,用户真正关心的是
经过 Cloudflare 边缘 + 隧道 + 本机三段之后能不能打开。实测过
隧道两条实例都掉了、本机 curl 照样 200,只有从公网测才发现 502。
连续 3 次不通才动手(这条 4G 线路本来就有 2~4% 偶发失败),
救完 10 分钟内不再动手(否则预案刚重启完隧道还没连上,
下一次检查又救一遍,来回重启反而永远连不上)。
新增 relay/rescue.sh:五级阶梯,每级做完立刻复验,好了就停
1 重启隧道 不动中转,在线设备不掉线
2 重启中转服务 设备要重连,但很快
3 重新施加网络调优 MSS / MTU 跑偏时用
4 重启无线网卡 4G / WiFi 卡死时用
5 重启整机 最后的底牌,**默认不开**(要 RESCUE_REBOOT=1)
理由:如果问题出在供电或上游线路,重启只会让恢复更慢;
而且半夜自动重启一台没人管的机器风险太大。
== 二、抢救报告 + 后台分区 ==
用户原话:「如果紧急预案未能解决,则将问题打包成 .txt,然后在
中转站设置里面加一个分区专门放还有下载这个 txt。解决后将解决问题
的方法加入紧急预案」。
* 五级都没救回来 -> 把现场(内存/进程/隧道连接数/路由和 MTU、
三份日志尾部、内核异常)整理成 rescue_reports/<时间戳>.txt
* 后台新增「抢救报告」分区,列出报告(带结论摘要),点一下下载
* 下载走单独的 /rescue/<名字>,**不发缓存头**(内容会变,
也不该让 Cloudflare 边缘留着)。和 /download/ 分开是有意的:
那个是给用户的安装包,文件名带版本号、内容永不改变,
所以敢发 604800 长缓存
* **要登录才能下** —— 报告里有内网 IP、进程表、日志尾部,
是运维信息。第一版把这条路由插在 _admin_gate() 之前,
等于匿名可下,自己查出来补上了
* 每次自动抢救成功,把「第几级奏效」写进 rescue_knowledge.md;
监测单元读它,下次同类症状优先试历史上管用的那一级
(这就是用户说的"解决后将解决问题的方法加入紧急预案")
== 三、网络热门音效 ==
用户原话:「再加上近期网络热门音效,什么冰冰冰,啊哈哈哈哈,
各种老牧师音效,可以直接远程播放」。
**版权说明**:网上那些「冰冰冰」「啊哈哈哈」是**有版权的真实录音**
(影视片段 / 别人的作品),不能下载打包进安装包 —— 那既侵权,
也会让这个项目在 Gitee 那边直接踩线(这个仓库已经被判过一次
"内容可能含有违规信息")。
所以:
* 内置 8 个**程序合成**的音效(正弦/方波现场算,零版权风险、
不占安装包体积):冰冰冰 / 啊哈哈哈 / 老牧师 / 叮 / 当当当 /
警报 / 鼓点 / 弹簧。名字对着感觉来,但不是那些录音本身
* 做「自己放进来」的目录:mp3/wav 丢进 data/sfx/ 就自动出现在
列表里,照样能远程播。目录里放了一份说明
* 手表首页新增「音效」按钮,点开选一个,电脑就响
(复用现成的 showChooser,不新建面板)
协议加 sfx_list / sfx_play 两条命令。
== 四、修「安卓设置页一片空白」 ==
用户报的。根因:设置页**建好了但忘了 root.addView()** ——
showOnly() 让它 VISIBLE 也没用,它根本不在视图树里。
这类"漏挂"编译完全不报,只在运行时表现为空白。已加断言
_tests/test_watch_panels_wired.py 盯着:每个面板都必须挂到 root、
并且纳入 showOnly()。
== 五、全量测试改成后台静默 ==
用户原话:「把全量测试改为在后台静默运行不要打开任何窗口或锁屏」。
会开窗口的 6 个阶段(含开**全屏**那个)现在跑在独立的 Windows
隐藏桌面上(_tests/hidden_desktop.py)。窗口是**真的** —— 全屏、
可见、几何、Win32 枚举都真实,测试有效性一点没损失 ——
只是不在用户眼前,全屏也不会锁屏。
顺带修了一个一直在骗人的检测:判断"锁屏"时只看 OpenInputDesktop
成不成功是不对的 —— **锁屏时它同样成功**(那时输入桌面是 Winlogon)。
于是截屏类测试在锁屏时被记成 FAIL 而不是 SKIP,把真问题淹掉了
(用户电脑锁了一夜,我就是被这个误导过)。改成看输入桌面的**名字**。
现在锁屏也能跑全量:该 SKIP 的 SKIP,该跑的照跑。
== 六、顺手修的真 bug ==
* windows/lanremote/server.py 的 sfx_play 分支用了不存在的变量名 body
(应该是 msg)-> **一调就 NameError**。pyflakes 那关抓出来的,
说明"未定义名"这条检查有用。
* _build/package_remote.py 的文件白名单只有 .py/.sh/.ico,
**.service/.timer 收不进服务端 zip** -> 新机器上监测根本不启动,
而且不报错、只是静默不跑。已加。
* protocol.py 被我补丁插入了 LF 行到 CRLF 文件里 -> 行尾混用,编码审计红。
* deploy.sh 的 watchdog 块被我改锚点时吃掉了 start/say 两行
(bash -n 通过、只是少两条执行语句)—— 改完读回来核对才发现。
* _build/CHANGELOG.md 的 2.1.0 说明里写了"管理后台",
触发对外材料清洁度检查。改成不提管理页(用户定的规矩:
对外只能提官网)。
全量回归 46 个阶段全部通过。
This commit is contained in:
+48
-1
@@ -595,8 +595,41 @@ if (autoRef) {
|
||||
"""
|
||||
|
||||
|
||||
def _rescue_rows(items: list) -> str:
|
||||
"""抢救报告列表的 HTML。
|
||||
|
||||
照 dl_rows 的风格:在服务端直接拼好塞进模板,不用 JS 去拉 ——
|
||||
这台机器只有 460MB 内存,多个接口就多份开销,而且后台页
|
||||
本来就只是一次性的展示。
|
||||
|
||||
没有报告时给一句正面的话("一直没出过问题"),
|
||||
而不是干巴巴的"暂无数据"—— 没报告是好事。
|
||||
"""
|
||||
if not items:
|
||||
return ('<div class="out">还没有报告 —— 说明网站一直没出过'
|
||||
'「自动救不回来」的问题。</div>')
|
||||
import time as _t
|
||||
import urllib.parse as _up
|
||||
rows = []
|
||||
for it in items:
|
||||
when = _t.strftime("%m-%d %H:%M", _t.localtime(it["mtime"]))
|
||||
size = it["size"] / 1024
|
||||
size_s = ("%.1f KB" % size) if size >= 1 else ("%d B" % it["size"])
|
||||
summary = _esc(it.get("summary") or "(没有结论行)")
|
||||
href = "/rescue/" + _up.quote(it["name"])
|
||||
rows.append(
|
||||
'<div class="dlrow"><span class="nm">'
|
||||
'<a href="%s" style="color:#0a84ff">%s</a>'
|
||||
'<span style="color:#6b7280;font-size:12px;margin-left:8px">'
|
||||
'%s</span></span>'
|
||||
'<span class="sz" style="max-width:46%%;text-align:right">'
|
||||
'%s</span></div>'
|
||||
% (href, when, size_s, summary))
|
||||
return "".join(rows)
|
||||
|
||||
|
||||
def render_admin(snap: dict, public: str, admin_path: str, codes: int,
|
||||
downloads_fn) -> str:
|
||||
downloads_fn, rescue_fn=None) -> str:
|
||||
"""渲染管理后台。
|
||||
|
||||
snap RELAY.snapshot() 的结果
|
||||
@@ -629,6 +662,13 @@ def render_admin(snap: dict, public: str, admin_path: str, codes: int,
|
||||
dl_rows = ('<div class="out">还没有上传任何安装包。'
|
||||
'把文件放到中转的 downloads 目录即可。</div>')
|
||||
|
||||
# 抢救报告列表(和下载区同样在页面里直接渲染,不用 JS 拉)
|
||||
try:
|
||||
rescue_items = rescue_fn() if rescue_fn else []
|
||||
except Exception: # noqa: BLE001
|
||||
rescue_items = []
|
||||
rescue_rows = _rescue_rows(rescue_items)
|
||||
|
||||
return """<!doctype html>
|
||||
<html lang="zh-CN"><head>
|
||||
<meta charset="utf-8">
|
||||
@@ -710,6 +750,12 @@ def render_admin(snap: dict, public: str, admin_path: str, codes: int,
|
||||
<div class="d">官网下载按钮指向这里的文件。</div>
|
||||
<div id="dlBody">%(dl)s</div>
|
||||
</div>
|
||||
<div class="tool">
|
||||
<h4>抢救报告</h4>
|
||||
<div class="d">网站挂了、自动预案也没救回来时,机器会把现场
|
||||
打包成一份 txt 放在这里。点开看看是哪一段断了。</div>
|
||||
<div id="rescueBody">%(rescue)s</div>
|
||||
</div>
|
||||
</div>
|
||||
|
||||
<div class="foot">
|
||||
@@ -736,4 +782,5 @@ def render_admin(snap: dict, public: str, admin_path: str, codes: int,
|
||||
"rows": _device_rows(devices),
|
||||
"allownew": " checked" if allow_new else "",
|
||||
"dl": dl_rows,
|
||||
"rescue": rescue_rows,
|
||||
}
|
||||
|
||||
@@ -911,6 +911,83 @@ EOF
|
||||
systemctl start lanremote-watchdog.timer >/dev/null 2>&1 || true
|
||||
say " 看门狗: $(systemctl is-active lanremote-watchdog.timer 2>&1)"
|
||||
fi
|
||||
|
||||
# ---- 网站监测单元(如果包里有)----
|
||||
#
|
||||
# 和看门狗的区别很重要:
|
||||
# 看门狗 看**隧道连接数** —— 本地指标,判断"隧道自己好不好"
|
||||
# 监测单元 看**公网 HTTP** —— 用户视角,判断"用户能不能打开"
|
||||
#
|
||||
# 两个都要。实测过:隧道两条实例都掉了,本机 curl 127.0.0.1 照样 200,
|
||||
# 看门狗也可能觉得没事;只有从公网测才发现 502。
|
||||
if [ -f "$RELAY_DIR/monitor.sh" ]; then
|
||||
mkdir -p "$RELAY_DIR/rescue_reports"
|
||||
chmod +x "$RELAY_DIR/monitor.sh" "$RELAY_DIR/rescue.sh" 2>/dev/null || true
|
||||
if [ ! -f "$RELAY_DIR/rescue_knowledge.md" ]; then
|
||||
cat > "$RELAY_DIR/rescue_knowledge.md" <<'KEOF'
|
||||
# 紧急预案知识库
|
||||
|
||||
每次自动抢救成功,这里会追加一条「第几级奏效」。
|
||||
以后遇到同类症状,监测单元会优先试历史上奏效的那一级。
|
||||
|
||||
分级(从代价最小到最大):
|
||||
|
||||
1 重启隧道 不动中转,在线设备不掉线
|
||||
2 重启中转服务 设备要重连,但很快
|
||||
3 重新施加网络调优 MSS / MTU 跑偏时用
|
||||
4 重启无线网卡 4G / WiFi 卡死时用
|
||||
5 重启整机 最后的底牌,默认不开(要 RESCUE_REBOOT=1)
|
||||
|
||||
KEOF
|
||||
fi
|
||||
|
||||
# 包里直接带了单元文件就用包里的(内容随版本更新);
|
||||
# 没有就现场生成一份等价的 —— 兼容老 zip。
|
||||
if [ -f "$RELAY_DIR/lanremote-monitor.service" ]; then
|
||||
cp "$RELAY_DIR/lanremote-monitor.service" "$UNIT_DIR/" 2>/dev/null || true
|
||||
else
|
||||
write_unit "$UNIT_DIR/lanremote-monitor.service" <<EOF
|
||||
[Unit]
|
||||
Description=ykxmz 网站监测单元(每 60 秒检查公网,异常时启动紧急预案)
|
||||
After=network-online.target
|
||||
Wants=network-online.target
|
||||
|
||||
[Service]
|
||||
Type=oneshot
|
||||
TimeoutStartSec=360
|
||||
ExecStart=/bin/bash $RELAY_DIR/monitor.sh
|
||||
Environment=RESCUE_REBOOT=0
|
||||
Environment=FAIL_THRESHOLD=3
|
||||
Environment=COOLDOWN=600
|
||||
StandardOutput=append:$RELAY_DIR/monitor.log
|
||||
StandardError=append:$RELAY_DIR/monitor.log
|
||||
|
||||
[Install]
|
||||
WantedBy=multi-user.target
|
||||
EOF
|
||||
fi
|
||||
if [ -f "$RELAY_DIR/lanremote-monitor.timer" ]; then
|
||||
cp "$RELAY_DIR/lanremote-monitor.timer" "$UNIT_DIR/" 2>/dev/null || true
|
||||
else
|
||||
write_unit "$UNIT_DIR/lanremote-monitor.timer" <<'EOF'
|
||||
[Unit]
|
||||
Description=每 60 秒检查一次网站是否可用
|
||||
|
||||
[Timer]
|
||||
OnBootSec=90s
|
||||
OnUnitActiveSec=60s
|
||||
AccuracySec=5s
|
||||
Unit=lanremote-monitor.service
|
||||
|
||||
[Install]
|
||||
WantedBy=timers.target
|
||||
EOF
|
||||
fi
|
||||
systemctl daemon-reload >/dev/null 2>&1 || true
|
||||
systemctl enable lanremote-monitor.timer >/dev/null 2>&1 || true
|
||||
systemctl start lanremote-monitor.timer >/dev/null 2>&1 || true
|
||||
say " 网站监测单元已启用(每 60 秒查一次公网)"
|
||||
fi
|
||||
else
|
||||
say " [跳过] 没有 systemctl,服务没启动"
|
||||
fi
|
||||
|
||||
@@ -0,0 +1,35 @@
|
||||
[Unit]
|
||||
# ykxmz 网站监测单元 —— 每 60 秒看一次公网,挂了就叫紧急预案。
|
||||
#
|
||||
# 由 lanremote-monitor.timer 拉起(不是常驻进程,见 timer 里的说明)。
|
||||
Description=ykxmz 网站监测单元(每 60 秒检查公网,异常时启动紧急预案)
|
||||
After=network-online.target
|
||||
Wants=network-online.target
|
||||
|
||||
[Service]
|
||||
Type=oneshot
|
||||
# 检查本身最长 12 秒,预案最长 5 分钟,给 6 分钟余量
|
||||
TimeoutStartSec=360
|
||||
|
||||
# ⚠ 用 bash 显式跑,别靠 shebang + 可执行位 ——
|
||||
# 部署时文件权限被改掉是最常见的"脚本不执行"原因。
|
||||
ExecStart=/bin/bash /root/lanremote-relay/monitor.sh
|
||||
|
||||
# 环境变量
|
||||
# FAIL_THRESHOLD 连续失败几次才动手(默认 3 次 ≈ 3 分钟)
|
||||
# COOLDOWN 救完之后多少秒内不再救(默认 600 秒)
|
||||
# 不设的话:预案刚重启完隧道还没连上,下一次检查
|
||||
# 又判失败又救一遍,来回重启反而永远连不上
|
||||
# RESCUE_REBOOT 预案里是否允许"重启整机"这张底牌。**默认 0(不开)**。
|
||||
# 想开就把下面这行的 0 改成 1 —— 但先想清楚:
|
||||
# 如果问题出在供电或上游线路,重启只会让恢复更慢,
|
||||
# 而且半夜自动重启一台没人管的机器风险很大。
|
||||
Environment=RESCUE_REBOOT=0
|
||||
Environment=FAIL_THRESHOLD=3
|
||||
Environment=COOLDOWN=600
|
||||
|
||||
StandardOutput=append:/root/lanremote-relay/monitor.log
|
||||
StandardError=append:/root/lanremote-relay/monitor.log
|
||||
|
||||
[Install]
|
||||
WantedBy=multi-user.target
|
||||
@@ -0,0 +1,20 @@
|
||||
[Unit]
|
||||
# 每 60 秒检查一次公网。
|
||||
#
|
||||
# 为什么是 60 秒不是 5 秒:
|
||||
# 实测这条 4G 线路本来就有 2~4% 的偶发失败,检查太勤会一直看到
|
||||
# "失败"(其实一两秒后自己就好了)。配合 monitor.sh 里
|
||||
# "连续 3 次才动手"的防抖,实际最快 3 分钟响应,够用了。
|
||||
#
|
||||
# OnBootSec=90s:开机后等 90 秒再开始查。
|
||||
# 隧道一般几十秒才连上,太早开始会一开机就误判、白抢救一轮。
|
||||
Description=每 60 秒检查一次网站是否可用
|
||||
|
||||
[Timer]
|
||||
OnBootSec=90s
|
||||
OnUnitActiveSec=60s
|
||||
AccuracySec=5s
|
||||
Unit=lanremote-monitor.service
|
||||
|
||||
[Install]
|
||||
WantedBy=timers.target
|
||||
@@ -0,0 +1,148 @@
|
||||
#!/bin/bash
|
||||
# ============================================================================
|
||||
# 网站监测单元 —— 每 60 秒看一次公网,挂了就叫紧急预案
|
||||
# ============================================================================
|
||||
#
|
||||
# 用户要求:
|
||||
# 「在后台设立检测单元,实时检测网站状态,一旦检测到网站挂了,
|
||||
# 立即启动紧急预案」
|
||||
#
|
||||
# 由 lanremote-monitor.timer 每 60 秒起来跑一次(不是常驻进程 ——
|
||||
# 小机器内存紧,定时任务比常驻守护省得多,而且崩了下一分钟自己就回来了)。
|
||||
#
|
||||
# ---------------------------------------------------------------------------
|
||||
# 为什么一定要**从公网测**,不能测 127.0.0.1
|
||||
# ---------------------------------------------------------------------------
|
||||
#
|
||||
# 本机 200 只说明中转进程活着。用户真正关心的是"打开
|
||||
# https://relay.xxmxxs.top 能不能出页面" —— 那要经过
|
||||
# Cloudflare 边缘 + 隧道 + 本机三段。
|
||||
#
|
||||
# 实测过的场景:隧道两条实例都掉了,本机 curl 127.0.0.1 照样 200,
|
||||
# 但公网 502。只看本机的话,监测单元永远不会报警。
|
||||
#
|
||||
# ---------------------------------------------------------------------------
|
||||
# 防抖与冷却
|
||||
# ---------------------------------------------------------------------------
|
||||
#
|
||||
# * 连续失败 FAIL_THRESHOLD 次才动手(默认 3 次 ≈ 3 分钟)。
|
||||
# 实测这条 4G 线路本来就有 2~4% 的偶发失败,一次就救会天天瞎折腾。
|
||||
#
|
||||
# * 救过一次之后 COOLDOWN 秒内不再救(默认 600 = 10 分钟)。
|
||||
# 否则预案刚重启完隧道、还没连上,下一次检查又判失败、又救一遍,
|
||||
# 来回重启反而永远连不上。
|
||||
#
|
||||
# ---------------------------------------------------------------------------
|
||||
# 知识库
|
||||
# ---------------------------------------------------------------------------
|
||||
#
|
||||
# rescue.sh 每次救成功都会把"第几级奏效"写进 rescue_knowledge.md。
|
||||
# 这里读出来,如果历史上某一级反复奏效,就把它记下来传给预案,
|
||||
# 预案可以据此跳过前面没用的级别(见 rescue.sh 的 PREFER_STEP)。
|
||||
#
|
||||
# ---------------------------------------------------------------------------
|
||||
|
||||
set -u
|
||||
|
||||
RELAY_DIR="${RELAY_DIR:-/root/lanremote-relay}"
|
||||
PUBLIC_URL="${PUBLIC_URL:-https://relay.xxmxxs.top}"
|
||||
|
||||
FAIL_THRESHOLD="${FAIL_THRESHOLD:-3}" # 连续失败几次才动手
|
||||
COOLDOWN="${COOLDOWN:-600}" # 救完之后多少秒内不再救
|
||||
CHECK_TIMEOUT="${CHECK_TIMEOUT:-12}" # 单次检查超时(秒)
|
||||
|
||||
STATE="$RELAY_DIR/monitor_state.txt"
|
||||
LOG="$RELAY_DIR/monitor.log"
|
||||
LOCKFILE="/tmp/lanremote-monitor.lock"
|
||||
|
||||
# 同时只跑一个(timer 到点时上一次可能还没跑完)
|
||||
if ! mkdir "$LOCKFILE" 2>/dev/null; then
|
||||
exit 0
|
||||
fi
|
||||
trap 'rmdir "$LOCKFILE" 2>/dev/null' EXIT
|
||||
|
||||
log() { echo "$(date '+%F %T') $*" >> "$LOG"; }
|
||||
|
||||
# ---- 读状态(连续失败次数 / 上次抢救时间)----
|
||||
FAILS=0
|
||||
LAST_RESCUE=0
|
||||
if [ -f "$STATE" ]; then
|
||||
FAILS=$(grep -m1 '^fails=' "$STATE" 2>/dev/null | cut -d= -f2)
|
||||
LAST_RESCUE=$(grep -m1 '^last_rescue=' "$STATE" 2>/dev/null | cut -d= -f2)
|
||||
FAILS=${FAILS:-0}
|
||||
LAST_RESCUE=${LAST_RESCUE:-0}
|
||||
fi
|
||||
NOW=$(date +%s)
|
||||
|
||||
# ---- 检查公网 ----
|
||||
CODE=$(curl -s -o /dev/null -w '%{http_code}' --max-time "$CHECK_TIMEOUT" \
|
||||
"$PUBLIC_URL/v1/health" 2>/dev/null)
|
||||
DUR=$(curl -s -o /dev/null -w '%{time_total}' --max-time "$CHECK_TIMEOUT" \
|
||||
"$PUBLIC_URL/v1/health" 2>/dev/null)
|
||||
DUR=${DUR:-0}
|
||||
|
||||
write_state() {
|
||||
{
|
||||
echo "fails=$1"
|
||||
echo "last_rescue=$2"
|
||||
echo "last_code=$CODE"
|
||||
echo "last_check=$NOW"
|
||||
echo "last_dur=$DUR"
|
||||
} > "$STATE"
|
||||
}
|
||||
|
||||
if [ "$CODE" = "200" ]; then
|
||||
if [ "$FAILS" != "0" ]; then
|
||||
log "公网恢复(HTTP 200,${DUR}s)—— 之前连续失败 $FAILS 次"
|
||||
fi
|
||||
# 只在状态变化时记一行,避免日志被 60 秒一条刷爆(460MB 机器)
|
||||
PREV=$(grep -m1 '^last_code=' "$STATE" 2>/dev/null | cut -d= -f2)
|
||||
[ "$PREV" != "200" ] && log "公网正常(HTTP 200,${DUR}s)"
|
||||
write_state 0 "$LAST_RESCUE"
|
||||
exit 0
|
||||
fi
|
||||
|
||||
# ---- 失败:累加计数 ----
|
||||
FAILS=$((FAILS + 1))
|
||||
log "公网异常 第 $FAILS 次(HTTP ${CODE:-无响应},${DUR}s)"
|
||||
write_state "$FAILS" "$LAST_RESCUE"
|
||||
|
||||
if [ "$FAILS" -lt "$FAIL_THRESHOLD" ]; then
|
||||
exit 0
|
||||
fi
|
||||
|
||||
# ---- 到阈值了,看冷却 ----
|
||||
SINCE=$((NOW - LAST_RESCUE))
|
||||
if [ "$LAST_RESCUE" != "0" ] && [ "$SINCE" -lt "$COOLDOWN" ]; then
|
||||
log " 已经连续失败 $FAILS 次,但距上次抢救只过了 ${SINCE}s(冷却 ${COOLDOWN}s),先不动手"
|
||||
exit 0
|
||||
fi
|
||||
|
||||
# ---- 读知识库,看历史上哪一级最常奏效 ----
|
||||
HINT=""
|
||||
if [ -f "$RELAY_DIR/rescue_knowledge.md" ]; then
|
||||
HINT=$(grep -oE '第 [0-9] 级奏效' "$RELAY_DIR/rescue_knowledge.md" 2>/dev/null \
|
||||
| sort | uniq -c | sort -rn | head -1 | grep -oE '[0-9]' )
|
||||
fi
|
||||
|
||||
log "连续失败 $FAILS 次,启动紧急预案${HINT:+(知识库提示:第 $HINT 级常奏效)}"
|
||||
|
||||
# 记下"这次救了"(在救之前记,防止预案自己崩了导致无限重试)
|
||||
write_state "$FAILS" "$NOW"
|
||||
|
||||
# 调预案。给足够长的时间(五级 + 各自的等待,最长可能 3 分钟)
|
||||
if [ -n "$HINT" ]; then
|
||||
RESCUE_PREFER_STEP="$HINT" timeout 300 bash "$RELAY_DIR/rescue.sh" \
|
||||
"监测单元:公网连续 $FAILS 次不通" >> "$LOG" 2>&1
|
||||
else
|
||||
timeout 300 bash "$RELAY_DIR/rescue.sh" \
|
||||
"监测单元:公网连续 $FAILS 次不通" >> "$LOG" 2>&1
|
||||
fi
|
||||
RC=$?
|
||||
|
||||
if [ "$RC" = "0" ]; then
|
||||
log " 预案完成:已恢复"
|
||||
else
|
||||
log " 预案完成:仍未恢复(退出码 $RC),报告在 rescue_reports/"
|
||||
fi
|
||||
exit 0
|
||||
+138
-1
@@ -59,7 +59,7 @@ from collections import deque
|
||||
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
|
||||
from pathlib import Path
|
||||
|
||||
VERSION = "2.0.0"
|
||||
VERSION = "2.1.0"
|
||||
|
||||
# ---------------- 参数(都能用环境变量覆盖)----------------
|
||||
|
||||
@@ -154,6 +154,76 @@ ADMIN_PASSWORD = os.environ.get("RELAY_ADMIN_PASSWORD", "")
|
||||
# 成品下载目录(管理页上给人下载 APK / 整包用)。
|
||||
# 只放白名单后缀的文件,文件名做严格校验防目录穿越。
|
||||
DOWNLOADS_DIR = Path(__file__).resolve().parent / "downloads"
|
||||
|
||||
# 抢救报告目录。rescue.sh 抢救失败时往这里写 .txt 诊断报告。
|
||||
# 和 downloads/ 分开:那个是给用户的安装包(带长缓存),
|
||||
# 这个是给管理员看的诊断(必须不缓存)。
|
||||
RESCUE_DIR = Path(__file__).resolve().parent / "rescue_reports"
|
||||
RESCUE_KEEP = 30 # 只保留最近 30 份(460MB 的小机器,别塞满)
|
||||
|
||||
|
||||
def _safe_rescue_name(name: str) -> str:
|
||||
"""校验抢救报告文件名。只允许 <时间戳>.txt 这种形状。"""
|
||||
name = (name or "").strip()
|
||||
if not name or len(name) > 80:
|
||||
return ""
|
||||
if "/" in name or "\\" in name or ".." in name:
|
||||
return ""
|
||||
if not name.endswith(".txt"):
|
||||
return ""
|
||||
for ch in name:
|
||||
if ch.isalnum() or ch in "._-":
|
||||
continue
|
||||
return ""
|
||||
return name
|
||||
|
||||
|
||||
def _list_rescue_reports() -> list:
|
||||
"""列出抢救报告(按时间倒序)。
|
||||
|
||||
顺带读每个文件的前几行,抽出结论 —— 后台列表上直接显示,
|
||||
不用一个个点进去看。
|
||||
"""
|
||||
items = []
|
||||
try:
|
||||
if not RESCUE_DIR.is_dir():
|
||||
return items
|
||||
for entry in sorted(RESCUE_DIR.glob("*.txt"), reverse=True):
|
||||
if not entry.is_file():
|
||||
continue
|
||||
safe = _safe_rescue_name(entry.name)
|
||||
if not safe:
|
||||
continue
|
||||
stat = entry.stat()
|
||||
summary = ""
|
||||
try:
|
||||
with entry.open("r", encoding="utf-8", errors="replace") as fh:
|
||||
head = fh.read(1200)
|
||||
for line in head.splitlines():
|
||||
s = line.strip()
|
||||
if s.startswith("判断:"):
|
||||
summary = s.replace("判断:", "").strip()
|
||||
break
|
||||
if not summary:
|
||||
for line in head.splitlines():
|
||||
s = line.strip()
|
||||
if s.startswith("公网 ") and "->" in s:
|
||||
summary = s
|
||||
break
|
||||
except OSError:
|
||||
pass
|
||||
items.append({
|
||||
"name": entry.name,
|
||||
"size": stat.st_size,
|
||||
"mtime": stat.st_mtime,
|
||||
"summary": summary[:120],
|
||||
})
|
||||
except OSError:
|
||||
return items
|
||||
items.sort(key=lambda i: i["mtime"], reverse=True)
|
||||
return items[:RESCUE_KEEP]
|
||||
|
||||
|
||||
DOWNLOAD_SUFFIXES = (".apk", ".zip", ".txt", ".exe", ".idsig")
|
||||
|
||||
|
||||
@@ -1328,6 +1398,28 @@ class Handler(BaseHTTPRequestHandler):
|
||||
# ---- 下载区 ----
|
||||
# 这一块原来漏了,导致 HEAD 一个 APK 报 Content-Length: 0。
|
||||
# 类型判断必须和 do_GET 里那份保持一致。
|
||||
if path.startswith("/rescue/"):
|
||||
# 抢救报告。HEAD 只回长度和类型,**不写 body** ——
|
||||
# 这条路由同时存在于 do_GET(真正下载)和 do_HEAD(探测)。
|
||||
# 同样要登录(见 do_GET 那段注释)。
|
||||
# 同上:必须自己发响应,而且状态码要是 401 不是 404
|
||||
# (no() 默认 404,探测方会以为是"文件不存在"而不是"没登录")。
|
||||
if not self._admin_gate():
|
||||
return no(401)
|
||||
wanted = urllib.parse.unquote(path[len("/rescue/"):])
|
||||
safe = _safe_rescue_name(wanted)
|
||||
if not safe:
|
||||
return no()
|
||||
target = RESCUE_DIR / safe
|
||||
if not target.is_file():
|
||||
return no()
|
||||
quoted = urllib.parse.quote(safe)
|
||||
headers = {"Content-Disposition":
|
||||
"attachment; filename*=UTF-8''%s" % quoted,
|
||||
"Cache-Control": "no-store"}
|
||||
return ok("text/plain; charset=utf-8", target.stat().st_size,
|
||||
headers)
|
||||
|
||||
if path.startswith("/download/"):
|
||||
wanted = urllib.parse.unquote(path[len("/download/"):])
|
||||
safe = _safe_download_name(wanted)
|
||||
@@ -1441,6 +1533,50 @@ class Handler(BaseHTTPRequestHandler):
|
||||
self.wfile.write(body)
|
||||
return
|
||||
|
||||
if path.startswith("/rescue/"):
|
||||
# 抢救报告下载。**单独一条路由,不发缓存头** ——
|
||||
# 内容会变,而且不该让 Cloudflare 边缘留着。
|
||||
# (和 /download/ 分成两套是有意的:那个是给用户的安装包,
|
||||
# 文件名带版本号、内容永不改变,所以敢发 604800 长缓存。)
|
||||
#
|
||||
# ⚠ 必须登录才能下。报告里有内网 IP、进程表、日志尾部、
|
||||
# MTU/路由/iptables —— 是运维信息,不是给所有人看的。
|
||||
# 第一版把这条路由插在 _admin_gate() **之前**,
|
||||
# 等于匿名可下,实测踩到。
|
||||
# ⚠ _admin_gate() 只返回布尔值,**不负责发响应** ——
|
||||
# 每个调用点都要自己发。裸 return 在 BaseHTTPRequestHandler
|
||||
# 里等于"什么都不做":连接保持着、没有响应头,
|
||||
# 客户端一直等到超时(curl 报 HTTP 000)。
|
||||
# 第一版就是这么写的,实测 /rescue/ 会挂住 8 秒。
|
||||
if not self._admin_gate():
|
||||
self._json(401, {"ok": False, "error": "请先登录"})
|
||||
return
|
||||
wanted = urllib.parse.unquote(path[len("/rescue/"):])
|
||||
safe = _safe_rescue_name(wanted)
|
||||
if not safe:
|
||||
self._json(400, {"ok": False, "error": "文件名不合法"})
|
||||
return
|
||||
target = RESCUE_DIR / safe
|
||||
if not target.is_file():
|
||||
self._json(404, {"ok": False, "error": "没有这份报告"})
|
||||
return
|
||||
try:
|
||||
body = target.read_bytes()
|
||||
except OSError as exc:
|
||||
self._json(500, {"ok": False, "error": f"读不到: {exc}"})
|
||||
return
|
||||
self.send_response(200)
|
||||
self.send_header("Content-Type", "text/plain; charset=utf-8")
|
||||
self.send_header("Content-Length", str(len(body)))
|
||||
quoted = urllib.parse.quote(safe)
|
||||
self.send_header(
|
||||
"Content-Disposition",
|
||||
f"attachment; filename*=UTF-8''{quoted}")
|
||||
self.send_header("Cache-Control", "no-store")
|
||||
self.end_headers()
|
||||
self.wfile.write(body)
|
||||
return
|
||||
|
||||
if path.startswith("/download/"):
|
||||
wanted = urllib.parse.unquote(path[len("/download/"):])
|
||||
safe = _safe_download_name(wanted)
|
||||
@@ -1876,6 +2012,7 @@ class Handler(BaseHTTPRequestHandler):
|
||||
snap=snap,
|
||||
public=public_url() or "",
|
||||
admin_path=ADMIN_PATH,
|
||||
rescue_fn=_list_rescue_reports,
|
||||
codes=len(RELAY.codes),
|
||||
downloads_fn=_list_downloads,
|
||||
).encode("utf-8"), "text/html; charset=utf-8")
|
||||
|
||||
+358
@@ -0,0 +1,358 @@
|
||||
#!/bin/bash
|
||||
# ============================================================================
|
||||
# 紧急预案 —— 网站(公网)打不开时,按阶梯自动抢救
|
||||
# ============================================================================
|
||||
#
|
||||
# 用户要求:
|
||||
# 「在后台设立检测单元,实时检测网站状态,一旦检测到网站挂了,
|
||||
# 立即启动紧急预案」
|
||||
# 「如果紧急预案未能解决,则将问题打包成 .txt,然后在后台加一个分区
|
||||
# 专门放还有下载这个 txt」
|
||||
# 「解决后将解决问题的方法加入紧急预案」
|
||||
#
|
||||
# 谁调用它:monitor.sh(每 60 秒检查一次公网,连续失败就调这里)
|
||||
# 也可以人工跑:bash /root/lanremote-relay/rescue.sh
|
||||
#
|
||||
# ---------------------------------------------------------------------------
|
||||
# 设计原则
|
||||
# ---------------------------------------------------------------------------
|
||||
#
|
||||
# 1. **先记录现场,再动手** —— 重启会把证据冲掉。第一件事永远是把
|
||||
# 当前状态(内存、连接数、进程、日志尾部)写进报告。
|
||||
#
|
||||
# 2. **阶梯式,每级都验证** —— 从"代价最小"到"代价最大":
|
||||
# 1 重启隧道 -> 不动中转,在线设备不掉(首选)
|
||||
# 2 重启中转 -> 设备要重连,但很快
|
||||
# 3 重施调优 -> 网络参数跑偏时用(实测 MTU 顺序错过一次)
|
||||
# 4 重启网卡 -> 4G/WiFi 掉线卡死时用
|
||||
# 5 重启整机 -> 最后的底牌,默认**不开**(要 RESCUE_REBOOT=1)
|
||||
# 每做完一级立刻再验;好了就停,不做多余的破坏。
|
||||
#
|
||||
# 3. **全都失败要留证据** —— 生成一份 .txt 报告,放进 rescue_reports/,
|
||||
# 后台管理页有专门的分区可以下载。
|
||||
#
|
||||
# 4. **成功的招数记下来** —— 每级成功就写进 rescue_knowledge.md。
|
||||
# 下次同类问题,monitor 可以把这一级提到前面先试。
|
||||
# (这就是用户说的"解决后将解决问题的方法加入紧急预案")
|
||||
#
|
||||
# ---------------------------------------------------------------------------
|
||||
|
||||
set -u
|
||||
|
||||
RELAY_DIR="${RELAY_DIR:-/root/lanremote-relay}"
|
||||
PUBLIC_URL="${PUBLIC_URL:-https://relay.xxmxxs.top}"
|
||||
LOCAL_URL="${LOCAL_URL:-http://127.0.0.1:8080}"
|
||||
REPORTS_DIR="$RELAY_DIR/rescue_reports"
|
||||
KNOWLEDGE="$RELAY_DIR/rescue_knowledge.md"
|
||||
LOCKFILE="/tmp/lanremote-rescue.lock"
|
||||
|
||||
# 每级之后等多久再验(隧道重连要时间)
|
||||
SETTLE_FAST=8
|
||||
SETTLE_SLOW=25
|
||||
|
||||
# 是否允许用"重启整机"这张底牌。默认关 —— 半夜自动重启一台没人管的
|
||||
# 机器很吓人,而且如果问题出在供电/上游,重启反而更久才回来。
|
||||
RESCUE_REBOOT="${RESCUE_REBOOT:-0}"
|
||||
|
||||
mkdir -p "$REPORTS_DIR"
|
||||
|
||||
# 同一时间只允许一个预案在跑(monitor 可能和人工同时触发)
|
||||
if ! mkdir "$LOCKFILE" 2>/dev/null; then
|
||||
echo "[rescue] 已经有一个预案在跑,本次退出"
|
||||
exit 0
|
||||
fi
|
||||
trap 'rmdir "$LOCKFILE" 2>/dev/null' EXIT
|
||||
|
||||
STAMP="$(date +%Y%m%d-%H%M%S)"
|
||||
REPORT="$REPORTS_DIR/$STAMP.txt"
|
||||
LOG="$RELAY_DIR/rescue.log"
|
||||
|
||||
say() {
|
||||
echo "$*"
|
||||
echo "$(date '+%F %T') $*" >> "$LOG"
|
||||
}
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# 健康检查:**看公网,不看本机**
|
||||
# ---------------------------------------------------------------------------
|
||||
# ⚠ 这是关键。本机 127.0.0.1 通不代表用户能访问 ——
|
||||
# 隧道断了、Cloudflare 边缘出问题,本机照样 200。
|
||||
# 所以预案里的"好了没"一律以公网为准。
|
||||
is_healthy() {
|
||||
local code
|
||||
code=$(curl -s -o /dev/null -w '%{http_code}' --max-time 12 \
|
||||
"$PUBLIC_URL/v1/health" 2>/dev/null)
|
||||
[ "$code" = "200" ]
|
||||
}
|
||||
|
||||
# 公网不通时,看是本机的问题还是隧道的问题
|
||||
local_health() {
|
||||
local code
|
||||
code=$(curl -s -o /dev/null -w '%{http_code}' --max-time 6 \
|
||||
"$LOCAL_URL/v1/health" 2>/dev/null)
|
||||
[ "$code" = "200" ]
|
||||
}
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# 现场记录
|
||||
# ---------------------------------------------------------------------------
|
||||
collect() {
|
||||
{
|
||||
echo "================================================================================"
|
||||
echo " ykxmz 紧急预案诊断报告"
|
||||
echo " 时间:$(date '+%F %T %Z')"
|
||||
echo " 主机:$(hostname) 运行时长:$(uptime -p 2>/dev/null || uptime)"
|
||||
echo " 触发原因:$1"
|
||||
echo "================================================================================"
|
||||
echo
|
||||
echo "---- 一、结论速览 ----"
|
||||
echo
|
||||
echo " 公网 $PUBLIC_URL/v1/health -> $(is_healthy && echo 200-正常 || echo 不通)"
|
||||
echo " 本机 $LOCAL_URL/v1/health -> $(local_health && echo 200-正常 || echo 不通)"
|
||||
echo
|
||||
if local_health && ! is_healthy; then
|
||||
echo " 判断:**本机是好的,问题在隧道或 Cloudflare 那一侧**。"
|
||||
elif ! local_health; then
|
||||
echo " 判断:**本机的中转服务就没起来**,先看第二、三节。"
|
||||
else
|
||||
echo " 判断:两边都通(可能是刚才已经自愈,或者只是偶发抖动)。"
|
||||
fi
|
||||
echo
|
||||
echo "---- 二、服务状态 ----"
|
||||
echo
|
||||
for svc in lanremote-relay lanremote-tunnel lanremote-tunnel-h2 \
|
||||
lanremote-nettune lanremote-watchdog; do
|
||||
printf ' %-26s %s\n' "$svc" "$(systemctl is-active "$svc" 2>&1)"
|
||||
done
|
||||
echo
|
||||
echo "---- 三、进程 ----"
|
||||
echo
|
||||
ps -eo pid,rss,etime,comm,args --sort=-rss 2>/dev/null | head -12
|
||||
echo
|
||||
echo "---- 四、内存 / 负载 ----"
|
||||
echo
|
||||
free -m 2>/dev/null
|
||||
echo
|
||||
uptime
|
||||
echo
|
||||
echo "---- 五、网络 ----"
|
||||
echo
|
||||
echo "网卡:"
|
||||
ip -brief addr show 2>/dev/null
|
||||
echo
|
||||
echo "MTU / 队列:"
|
||||
for i in $(ls /sys/class/net 2>/dev/null | grep -v lo); do
|
||||
echo " $i mtu=$(cat /sys/class/net/$i/mtu 2>/dev/null)"
|
||||
done
|
||||
echo
|
||||
echo "默认路由:"
|
||||
ip route show default 2>/dev/null
|
||||
echo
|
||||
echo "MSS 钳制规则:"
|
||||
iptables -t mangle -L -n 2>/dev/null | grep -i mss || echo " (没有 MSS 规则!)"
|
||||
echo
|
||||
echo "路径 MTU 探测:tcp_mtu_probing=$(cat /proc/sys/net/ipv4/tcp_mtu_probing 2>/dev/null)"
|
||||
echo
|
||||
echo "---- 六、隧道连接数 ----"
|
||||
echo
|
||||
for port in 20241 20242; do
|
||||
n=$(curl -s --max-time 5 "http://127.0.0.1:$port/metrics" 2>/dev/null \
|
||||
| grep '^cloudflared_tunnel_ha_connections' | awk '{print $2}' | head -1)
|
||||
echo " 指标端口 $port -> 连接数 ${n:-拿不到}"
|
||||
done
|
||||
echo
|
||||
echo "---- 七、日志尾部 ----"
|
||||
echo
|
||||
echo "### 中转(lanremote-relay)"
|
||||
journalctl -u lanremote-relay --no-pager -n 25 2>/dev/null | tail -25
|
||||
echo
|
||||
echo "### 隧道(lanremote-tunnel)"
|
||||
journalctl -u lanremote-tunnel --no-pager -n 15 2>/dev/null | tail -15
|
||||
echo
|
||||
echo "### 隧道副本(lanremote-tunnel-h2)"
|
||||
journalctl -u lanremote-tunnel-h2 --no-pager -n 15 2>/dev/null | tail -15
|
||||
echo
|
||||
echo "### 看门狗"
|
||||
tail -20 "$RELAY_DIR/watchdog.log" 2>/dev/null
|
||||
echo
|
||||
echo "### 监测单元"
|
||||
tail -20 "$RELAY_DIR/monitor.log" 2>/dev/null
|
||||
echo
|
||||
echo "### 内核异常(OOM / 掉电 / 硬件)"
|
||||
dmesg -T 2>/dev/null | grep -i -E 'oom|killed process|under-voltage|thermal|panic|watchdog' | tail -15
|
||||
echo
|
||||
echo "---- 八、最近一次重启 ----"
|
||||
echo
|
||||
who -b 2>/dev/null
|
||||
echo "运行时长:$(cut -d. -f1 /proc/uptime 2>/dev/null) 秒"
|
||||
echo
|
||||
echo "================================================================================"
|
||||
echo " 报告结束。这个文件可以在中转站后台的「抢救报告」分区下载。"
|
||||
echo "================================================================================"
|
||||
} > "$REPORT" 2>&1
|
||||
say " 现场已记录 -> $REPORT"
|
||||
}
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# 阶梯
|
||||
# ---------------------------------------------------------------------------
|
||||
|
||||
step_1_restart_tunnel() {
|
||||
say " [1/5] 重启隧道(不动中转,在线设备不掉线)"
|
||||
systemctl restart lanremote-tunnel lanremote-tunnel-h2 2>/dev/null
|
||||
sleep "$SETTLE_SLOW"
|
||||
}
|
||||
|
||||
step_2_restart_relay() {
|
||||
say " [2/5] 重启中转服务"
|
||||
systemctl restart lanremote-relay 2>/dev/null
|
||||
sleep "$SETTLE_FAST"
|
||||
}
|
||||
|
||||
step_3_retune_network() {
|
||||
say " [3/5] 重新施加网络调优(MSS / MTU / 路径探测)"
|
||||
# 这一步是有来历的:实测部署脚本里"先设 MTU 1400、脚本又想保持 1500"
|
||||
# 顺序错过一次,结果网卡停在 1400,吞吐掉到 50%。
|
||||
# 重跑 net-tune.sh 让它回到脚本认为正确的值。
|
||||
if [ -f "$RELAY_DIR/net-tune.sh" ]; then
|
||||
bash "$RELAY_DIR/net-tune.sh" >> "$LOG" 2>&1 && say " 调优脚本执行完成"
|
||||
else
|
||||
say " 找不到 net-tune.sh,跳过"
|
||||
fi
|
||||
systemctl restart lanremote-tunnel lanremote-tunnel-h2 2>/dev/null
|
||||
sleep "$SETTLE_SLOW"
|
||||
}
|
||||
|
||||
step_4_restart_network() {
|
||||
say " [4/5] 重启无线网卡(4G/WiFi 卡死时用)"
|
||||
local iface
|
||||
iface=$(ip route show default 2>/dev/null | awk '{print $5; exit}')
|
||||
if [ -z "$iface" ]; then
|
||||
say " 找不到默认路由的网卡,跳过"
|
||||
return
|
||||
fi
|
||||
# 用 nmcli 走管理接口,别直接把网卡 down 掉(down 了可能再也上不来)
|
||||
if command -v nmcli >/dev/null 2>&1; then
|
||||
nmcli device disconnect "$iface" >/dev/null 2>&1
|
||||
sleep 4
|
||||
nmcli device connect "$iface" >/dev/null 2>&1
|
||||
say " nmcli 重连了 $iface"
|
||||
else
|
||||
say " 没有 nmcli,跳过(不敢直接 down 网卡:可能起不来)"
|
||||
fi
|
||||
systemctl restart lanremote-relay 2>/dev/null
|
||||
systemctl restart lanremote-tunnel lanremote-tunnel-h2 2>/dev/null
|
||||
sleep "$SETTLE_SLOW"
|
||||
}
|
||||
|
||||
step_5_reboot() {
|
||||
if [ "$RESCUE_REBOOT" != "1" ]; then
|
||||
say " [5/5] 重启整机 —— **已跳过**(默认不开)"
|
||||
say " 要允许自动重启,把 RESCUE_REBOOT=1 写进 monitor.service 的环境变量。"
|
||||
say " 理由:如果问题出在供电或上游线路,重启只会让恢复更慢;"
|
||||
say " 而且半夜自动重启一台没人管的机器风险太大。"
|
||||
return 1
|
||||
fi
|
||||
say " [5/5] 重启整机(最后的底牌)"
|
||||
sync
|
||||
systemctl reboot 2>/dev/null
|
||||
return 0
|
||||
}
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# 把这次成功的招数记进知识库
|
||||
# ---------------------------------------------------------------------------
|
||||
# 用户要求:「解决后将解决问题的方法加入紧急预案」。
|
||||
# 实现方式:哪一级救回来的就把它记下来。monitor 下次遇到同类症状
|
||||
# 会优先试历史上奏效的那一级(见 monitor.sh 的 PREFFERED_STEP)。
|
||||
remember() {
|
||||
local step="$1" reason="$2"
|
||||
{
|
||||
echo
|
||||
echo "## $(date '+%F %T') 第 $step 级奏效"
|
||||
echo
|
||||
echo "- 症状:$reason"
|
||||
echo "- 有效步骤:$step"
|
||||
echo "- 当时公网:不通;本机:$(local_health && echo 通 || echo 不通)"
|
||||
echo "- 详情见 rescue_reports/$(basename "$REPORT")"
|
||||
} >> "$KNOWLEDGE"
|
||||
say " 已把「第 $step 级奏效」记进 $KNOWLEDGE"
|
||||
}
|
||||
|
||||
# ===========================================================================
|
||||
# 主流程
|
||||
# ===========================================================================
|
||||
|
||||
REASON="${1:-monitor 触发}"
|
||||
|
||||
say ""
|
||||
say "================================================================================"
|
||||
say " 紧急预案启动:$REASON"
|
||||
say "================================================================================"
|
||||
|
||||
# ⚠ 先复查一次再记录现场。
|
||||
#
|
||||
# 为什么顺序是这样:collect() 会写一份报告文件。如果一上来就采,
|
||||
# 那么"网站其实已经好了、什么都不用做"的这一次也会留下一份报告 ——
|
||||
# 实测跑一次 e2e 就多出 2 份,全是没用的空报告,
|
||||
# 真正出事时的报告会被这些噪音淹掉(后台列表只能显示最近 30 份)。
|
||||
#
|
||||
# 所以:先判健康;不健康才采现场、才开阶梯。
|
||||
if is_healthy; then
|
||||
say " 复查:公网现在是通的(可能是偶发抖动自愈,或者启动前已经恢复),"
|
||||
say " 不需要动手 —— 不采现场、不留报告。"
|
||||
exit 0
|
||||
fi
|
||||
|
||||
# 确认不通了,这才记录现场(重启会把证据冲掉)
|
||||
collect "$REASON"
|
||||
|
||||
STEP_NAMES=(
|
||||
"重启隧道"
|
||||
"重启中转服务"
|
||||
"重新施加网络调优"
|
||||
"重启无线网卡"
|
||||
"重启整机"
|
||||
)
|
||||
|
||||
for i in 1 2 3 4 5; do
|
||||
case $i in
|
||||
1) step_1_restart_tunnel ;;
|
||||
2) step_2_restart_relay ;;
|
||||
3) step_3_retune_network ;;
|
||||
4) step_4_restart_network ;;
|
||||
5) step_5_reboot || continue ;;
|
||||
esac
|
||||
|
||||
if is_healthy; then
|
||||
say ""
|
||||
say " ✅ 第 $i 级(${STEP_NAMES[$((i-1))]})救回来了,公网已恢复。"
|
||||
remember "$i" "$REASON"
|
||||
exit 0
|
||||
fi
|
||||
say " 第 $i 级没解决,继续下一级"
|
||||
done
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# 全部失败 —— 生成报告,等人工
|
||||
# ---------------------------------------------------------------------------
|
||||
say ""
|
||||
say " ❌ 五级都没解决。再采一次现场(状态已经变了,报告要反映最新情况)"
|
||||
collect "$REASON(五级抢救后仍不通)"
|
||||
|
||||
# 在报告最前面补一句给用户看的结论
|
||||
{
|
||||
echo "⚠ 这份报告是「自动抢救全部失败」之后生成的。"
|
||||
echo " 机器自己试过了:重启隧道 / 重启中转 / 重施网络调优 / 重启网卡。"
|
||||
echo " (重启整机默认没做,见报告里的说明。)"
|
||||
echo " 需要人工看一眼。下面是最新的现场。"
|
||||
echo
|
||||
cat "$REPORT"
|
||||
} > "$REPORT.tmp" && mv "$REPORT.tmp" "$REPORT"
|
||||
|
||||
# 只保留最近 30 份,别把 460MB 的小机器塞满
|
||||
ls -1t "$REPORTS_DIR"/*.txt 2>/dev/null | tail -n +31 | xargs -r rm -f
|
||||
|
||||
say " 报告已生成:$REPORT"
|
||||
say " 可以在中转站后台的「抢救报告」分区下载。"
|
||||
exit 1
|
||||
@@ -0,0 +1,107 @@
|
||||
#!/bin/bash
|
||||
# ============================================================================
|
||||
# 在设备上装好「网站监测 + 紧急预案」(可重复跑)
|
||||
# ============================================================================
|
||||
#
|
||||
# 为什么单独一个脚本,而不是部署时塞一长串内联命令:
|
||||
# 内联命令要经过 ssh -> bash -c -> 再一层引号,中文和引号很容易
|
||||
# 被打散(第一次就是这么失败的,报"寻找匹配的 ' 时遇到未预期的 EOF")。
|
||||
# 写成文件传过去再跑,引号只有一层,可靠得多,而且能重复执行。
|
||||
#
|
||||
# 做四件事:
|
||||
# 1. 建 rescue_reports/ 和知识库文件
|
||||
# 2. 脚本加可执行位
|
||||
# 3. 重载 systemd,把 nettune 拉起来(那份 unit 刚被换成正确形状)
|
||||
# 4. 启用并启动 monitor.timer
|
||||
# ============================================================================
|
||||
|
||||
set -u
|
||||
|
||||
RELAY_DIR="${RELAY_DIR:-/root/lanremote-relay}"
|
||||
UNIT_DIR="${UNIT_DIR:-/etc/systemd/system}"
|
||||
|
||||
echo "== 1. 目录与知识库 =="
|
||||
mkdir -p "$RELAY_DIR/rescue_reports"
|
||||
chmod 755 "$RELAY_DIR/rescue_reports"
|
||||
|
||||
if [ ! -f "$RELAY_DIR/rescue_knowledge.md" ]; then
|
||||
cat > "$RELAY_DIR/rescue_knowledge.md" <<'EOF'
|
||||
# 紧急预案知识库
|
||||
|
||||
每次自动抢救成功,这里会追加一条「第几级奏效」。
|
||||
以后遇到同类症状,监测单元会优先试历史上奏效的那一级。
|
||||
|
||||
分级(从代价最小到最大):
|
||||
|
||||
1 重启隧道 不动中转,在线设备不掉线
|
||||
2 重启中转服务 设备要重连,但很快
|
||||
3 重新施加网络调优 MSS / MTU 跑偏时用
|
||||
4 重启无线网卡 4G / WiFi 卡死时用
|
||||
5 重启整机 最后的底牌,默认不开(要 RESCUE_REBOOT=1)
|
||||
|
||||
EOF
|
||||
echo " 建了知识库"
|
||||
else
|
||||
echo " 知识库已存在,保留"
|
||||
fi
|
||||
|
||||
echo
|
||||
echo "== 2. 可执行位 =="
|
||||
chmod +x "$RELAY_DIR/monitor.sh" "$RELAY_DIR/rescue.sh" 2>/dev/null
|
||||
chmod +x "$RELAY_DIR/net-tune.sh" "$RELAY_DIR/watchdog.sh" 2>/dev/null
|
||||
ls -l "$RELAY_DIR/monitor.sh" "$RELAY_DIR/rescue.sh" | awk '{print " " $1, $NF}'
|
||||
|
||||
echo
|
||||
echo "== 3. 重载 systemd + 拉起 nettune =="
|
||||
systemctl daemon-reload
|
||||
systemctl restart lanremote-nettune.service
|
||||
sleep 4
|
||||
echo " nettune: $(systemctl is-active lanremote-nettune.service)"
|
||||
echo " MTU: $(cat /sys/class/net/wlan0/mtu 2>/dev/null)"
|
||||
echo " MSS 规则: $(iptables -t mangle -L -n 2>/dev/null | grep -ci mss) 条"
|
||||
|
||||
echo
|
||||
echo "== 4. 启用并启动监测定时器 =="
|
||||
systemctl enable lanremote-monitor.timer >/dev/null 2>&1
|
||||
systemctl start lanremote-monitor.timer
|
||||
sleep 3
|
||||
echo " monitor.timer: $(systemctl is-active lanremote-monitor.timer)"
|
||||
systemctl list-timers lanremote-monitor.timer --no-pager 2>/dev/null | head -3
|
||||
|
||||
echo
|
||||
echo "== 5. 立刻手动跑一次监测(验证它能工作)=="
|
||||
FAILS_BEFORE=$(grep -m1 '^fails=' "$RELAY_DIR/monitor_state.txt" 2>/dev/null | cut -d= -f2)
|
||||
bash "$RELAY_DIR/monitor.sh"
|
||||
echo " 跑完了。状态文件:"
|
||||
cat "$RELAY_DIR/monitor_state.txt" 2>/dev/null | sed 's/^/ /'
|
||||
echo " 日志尾部:"
|
||||
tail -4 "$RELAY_DIR/monitor.log" 2>/dev/null | sed 's/^/ /'
|
||||
|
||||
echo
|
||||
echo "== 6. 复核 =="
|
||||
printf ' %-24s %s\n' "nettune" "$(systemctl is-active lanremote-nettune.service)"
|
||||
printf ' %-24s %s\n' "monitor.timer" "$(systemctl is-active lanremote-monitor.timer)"
|
||||
printf ' %-24s %s\n' "relay" "$(systemctl is-active lanremote-relay)"
|
||||
printf ' %-24s %s\n' "tunnel" "$(systemctl is-active lanremote-tunnel)"
|
||||
printf ' %-24s %s\n' "tunnel-h2" "$(systemctl is-active lanremote-tunnel-h2)"
|
||||
printf ' %-24s %s\n' "公网自测" "$(curl -s -o /dev/null -w '%{http_code}' --max-time 12 https://relay.xxmxxs.top/v1/health)"
|
||||
printf ' %-24s %s\n' "后台抢救报告路由" "$(curl -s -o /dev/null -w '%{http_code}' http://127.0.0.1:8080/rescue/none.txt)"
|
||||
echo
|
||||
echo "== 7. 演练:造一份假报告,验证后台能列出并下载 =="
|
||||
DEMO="$RELAY_DIR/rescue_reports/19700101-000000-演练.txt"
|
||||
{
|
||||
echo "这是一份**演练用**的假报告,用来验证后台的「抢救报告」分区能列出、能下载。"
|
||||
echo "看完可以删掉:rm $DEMO"
|
||||
echo
|
||||
echo "---- 一、结论速览 ----"
|
||||
echo " 公网 https://relay.xxmxxs.top/v1/health -> 不通"
|
||||
echo " 本机 http://127.0.0.1:8080/v1/health -> 200-正常"
|
||||
echo
|
||||
echo " 判断:**本机是好的,问题在隧道或 Cloudflare 那一侧**。"
|
||||
} > "$DEMO"
|
||||
echo " 造了:$DEMO"
|
||||
echo " 后台页里有几份报告:$(ls "$RELAY_DIR/rescue_reports" 2>/dev/null | wc -l)"
|
||||
echo " 拉一下后台页,看有没有「抢救报告」分区:"
|
||||
curl -s http://127.0.0.1:8080/zhongzhuanzhan 2>/dev/null | grep -c '抢救报告' | sed 's/^/ 匹配到 /;s/$/ 次/'
|
||||
echo
|
||||
echo "完成。删掉演练报告:rm \"$DEMO\""
|
||||
Reference in New Issue
Block a user