mirror of
https://gitee.com/xmz7891/ykxmz.git
synced 2026-10-18 11:20:43 +00:00
xmz7891
6adf7acbfb
用户报「网站还是容易挂」。查到最后是个 systemd 顺序死锁 ——
而且**是我自己引入的**（换掉设备上那份过期 unit 之后才露出来）。
== 死锁链条 ==
lanremote-nettune.service:
Before=lanremote-tunnel.service <- 我必须先于隧道启动完
ExecStart=/bin/bash net-tune.sh
net-tune.sh 第 4 步（"让已经建立的隧道用上新参数"）:
systemctl restart lanremote-tunnel <- 在这里永久阻塞
nettune 在**自己还没结束**的时候去 restart 一个"必须等自己结束
才能启动"的服务 —— systemd 判定顺序冲突，restart 一直不返回。
证据（设备上抓的）：
CGroup: /system.slice/lanremote-nettune.service
├─13388 /bin/bash net-tune.sh
└─13428 systemctl restart lanremote-tunnel
那个 systemctl 的 etime 是 09:32 —— 卡了 9 分半。
后果：nettune 一直 activating -> 隧道被 Before= 挡着起不来 ->
公网 530。而 journalctl 里只看得到 nettune 停在 activating，
没有任何报错，特别难查。
== 为什么以前没暴露 ==
设备上原来那份 unit 的 ExecStart 里有个 iptables ... || ...，
systemd 不支持 ||，所以它**在第 2 条 ExecStart 就报错退出**，
根本走不到"重启隧道"那一步 —— 死锁被那个 bug 遮住了。
我把 unit 换成正确形状之后，死锁才露出来。
另一个迷惑点：**手动跑 net-tune.sh 完全正常**（输出"没有正在跑的
隧道，跳过"），因为手动跑时不在服务上下文里、没有 Before= 约束。
== 改法 ==
第 4 步的本意是"改完 MTU/MSS 后让已建立的隧道用上新参数"，
这个功能有用，但**只该在人工重跑时做** —— 开机时顺序本来就是
nettune 先、隧道后，那时隧道还没起来。
所以 unit 里加 Environment=NETTUNE_SERVICE_CALL=1，
脚本看到就跳过第 4 步。三个地方都改了：
relay/net-tune.sh 认这个开关
relay/deploy.sh 生成的 unit 带上它
relay/install.sh 同上（老机器走的安装路径）
没选 systemctl restart --no-block：那只是把阻塞变异步，
开机时仍然做一次无谓的重启（隧道刚起来就被停掉），
也没解决"不该在开机时重启"这个语义问题。
== 另外 ==
setup-monitor.sh / monitor.sh / rescue.sh 这一整套这次也真的
在线上跑起来并验证过了：
18:13:03 紧急预案启动：公网连续 3 次不通
18:13:07 现场已记录 + [1/5] 重启隧道
18:13:59 ✅ 第 1 级救回来了，公网已恢复
18:13:59 已把「第 1 级奏效」记进知识库
死锁这次就是被监测单元抓到的（fails=3 / last_code=530）。
全量回归 46 个阶段全部通过。
58 lines
1.8 KiB
Python
58 lines
1.8 KiB
Python
# -*- coding: utf-8 -*-
|
||
r'''查 nettune 为什么卡在 activating（它挡着隧道，隧道一挂网站就 530）。
|
||
|
||
发现：
|
||
lanremote-nettune activating <- 卡住
|
||
lanremote-tunnel inactive <- 在等 nettune
|
||
lanremote-tunnel-h2 inactive
|
||
公网 530
|
||
|
||
nettune 的 unit 里有 Before=lanremote-tunnel.service，
|
||
所以它卡住 = 隧道永远起不来。
|
||
'''
|
||
from __future__ import annotations
|
||
|
||
import sys
|
||
from pathlib import Path
|
||
|
||
ROOT = Path(__file__).resolve().parent.parent
|
||
sys.path.insert(0, str(ROOT / "_build"))
|
||
from devssh import run # noqa: E402
|
||
|
||
REMOTE = r'''
|
||
echo "════ 1. nettune 的完整状态 ════"
|
||
systemctl status lanremote-nettune --no-pager -n 25 2>&1 | tail -25
|
||
|
||
echo
|
||
echo "════ 2. 有没有卡住的子进程 ════"
|
||
systemctl show -p MainPID -p ControlPID -p ExecMainStatus -p StateChangeTimestamp lanremote-nettune 2>&1
|
||
echo " --- 所有相关进程 ---"
|
||
ps -eo pid,ppid,stat,etime,cmd 2>/dev/null | grep -E 'iptables|net-tune|deploy-tune|ip link' | grep -v grep
|
||
|
||
echo
|
||
echo "════ 3. net-tune.sh 里会不会卡住的那步 ════"
|
||
echo " --- 脚本第 4 步（重启隧道）会 wait 吗 ---"
|
||
grep -n 'systemctl restart' /root/lanremote-relay/net-tune.sh
|
||
|
||
echo
|
||
echo "════ 4. 手动跑一次 net-tune.sh 看卡在哪（30 秒超时）════"
|
||
timeout 30 bash /root/lanremote-relay/net-tune.sh 2>&1 | tail -15
|
||
echo " 退出码: $?"
|
||
|
||
echo
|
||
echo "════ 5. 卡住的时候隧道是什么状态 ════"
|
||
systemctl is-active lanremote-tunnel lanremote-tunnel-h2
|
||
journalctl -u lanremote-tunnel --no-pager -n 12 2>/dev/null | tail -12
|
||
'''
|
||
|
||
|
||
def main() -> int:
|
||
out = run(REMOTE, timeout=300)
|
||
text = out[1] if isinstance(out, tuple) else str(out)
|
||
print(text)
|
||
return 0
|
||
|
||
|
||
if __name__ == "__main__":
|
||
sys.exit(main())
|