mirror of
https://gitee.com/xmz7891/ykxmz.git
synced 2026-10-19 10:40:44 +00:00
修「经中转几次后永久哑掉」——「按一下没反应」的真因
== 现象 ==
用户报：
* 局域网能搜到电脑，IP/端口/配对码都对，连上后**没有任何反应**
* 走中转「已配对」，但点按钮没反应
局域网那一半已经修过（preferLan）。这次抓到的是**经中转**那一半，
而且比预想的严重得多。
== 证据链（插桩复现出来的）==
被控端日志里直接抛了未捕获异常，线程当场死：
Exception in thread client-relay:
server.py:407 session.send(reply)
relay.py:166 self._link.send_to_client(data)
relay.py:357 self._post("/v1/agent/send", ...)
relay.py:766 raise RelayError(f"请求失败: {last_error}")
lanremote.relay.RelayError: 请求失败: Idle
之后的状态：
* client-relay 线程没了 —— 电脑再也不往手表回任何东西
* relay-link 线程还活着、还在长轮询 —— 中转那边看着「设备在线」
* **手表看到的就是「连上了，但按一下毫无反应」**
写入仓库的测试 _tests/test_relay_local.py 一直是这个形状：
前面几项 PASS、跑到经中转发命令就卡死。之前没人深挖。
== 根因 1：一条 HTTP/1.1 连接被两个线程同时用 ==
_post() 里锁只包住「取连接」那一段：
with self._http_lock:
connection = self._http # 锁到这里就放了
try:
connection.request("POST", ...) # 锁外发请求
于是两个线程会同时用同一条 connection：
* relay-link 线程跑 /v1/agent/poll —— 长轮询，一条请求挂 180 秒
* client-relay 线程同时 POST /v1/agent/send
HTTP/1.1 一条连接同一时刻只能有一个在途请求，第二个线程一进来
就撞上 http.client 状态机，抛 CannotSendRequest("Idle")。
_post 的「重试一次」也救不了：它 _drop_http() 之后，另一个线程
手里还攥着那条旧连接对象在发，照样坏。
修法：
* **发命令用独立连接**（_post 加 dedicated 参数）。
长轮询那条常年被占着，发命令不该去挤它，各走各的。
* 两条连接各自一把锁**锁住整个「发请求 + 读响应」周期**，
不再只锁取连接那一下。
* 普通请求若发现缓存连接正忙（长轮询在途），临时另开一条用完即关。
* _drop_http(dedicated=) 区分清哪条；finally 里一定归还占用
（否则那条连接会被永久标记为忙）。
== 根因 2：回包失败会打死整个会话线程 ==
server.py 的 _client_loop 里：
if reply is not None:
session.send(reply) # <- 不在任何 try 里
...
except OSError: # <- 外层只捕获 OSError
pass
而中转链路上 send 抛的是 RelayError，直接冒出去把线程打死。
**死一次就永久哑**，代价太大。
修法：session.send() 单独兜住所有异常，失败就断开这个会话
（让手表重连），绝不让线程消失。外层也补一个兜底 except。
== 修复效果 ==
修复前：pair OK -> ping OK -> ping 卡死 -> 线程崩溃，永久哑
修复后：pair 21ms -> ping 82ms -> ping 4ms -> ping 6ms，零异常
_tests/test_relay_local.py：**之前完全卡死 -> 现在 21/21 全过**
这个测试之前一直是红的，说明「35 个阶段的回归全绿」这件事
本身就不成立过 —— 某个阶段卡住时看起来像环境问题而不是缺陷。
== 同批修掉验证阶段找到的其它问题 ==
1. **TTL 清理 + 关掉接入开关 = 设备永久锁死**（严重）
register() 用 `device_id in self.devices` 判断老设备，但超时清理
把设备从 devices 和 codes 都删了。电脑关机过夜（必然 > 6 小时）
第二天开机就会被自己的开关挡住，而且**重启也救不回来**
（清 codes 时没落盘，重启后又当孤儿清一遍，自我维系）。
管理员在页面上还看不到这台设备，不知道该放开谁。
修法：状态文件里单独存 knownDevices 设备历史，超时清理绝不动它；
register 改查这份历史；清理后补 _save()；delete_device 才真正忘记。
2. **管理页 JS 语法错误 -> 所有按钮失效**（严重）
admin.py 里 ADMIN_JS 是普通三引号字符串，我在 Python 源码里写的
`\n` 被变成真实换行，拼进 JS 就是字符串里的裸换行 ->
整段 <script> 不执行 -> 改码/删除/批量删除/全选全变幽灵按键。
元凶是我加改码功能那次提交。改成 `\\n`。
3. **--relay / --relay-status 崩溃**（严重）
RelayLink.start(url) 的 url 是必填参数，我把默认地址改空白时
run_agent.py 两处调用没跟着改。一处被 try 吞成「测试失败：missing
1 required positional argument」（用户以为地址填错了），
一处直接报栈。两处都补上 url。
4. 非法 deviceId（控制字符 / 路径分隔符）现在被拒（白名单：
字母数字 + - _ . :）
5. enable_relay() 第二次调用不再谎报成功（加 RelayLink.running 属性，
返回值反映真实运行状态；不再用「对象建过没有」判断）
6. snapshot() 清孤儿码后补 _save()，磁盘和内存不再脱节
== 局域网全面优化（task-2，另一个智能体完成）==
4 个真问题：
* **网段判断写死 /24** —— 在 /16 网络上 10.8.1.5 和 10.8.2.5
被判成不同网络，明明能直连却去走中转还费流量。
改成按网卡真实掩码比较。
* **广播只发一个包** —— 丢一个就整轮搜不到。改成 5 个时间点重发。
* **只探一个网段** —— 多网卡手表搜不到另一网段的电脑。改成全探。
* **走中转之后再也回不到局域网** —— 出门再回家永远挂中转。
新增定期回切（先便宜地 TCP ping，通了才动真格，
不破坏正在工作的中转连接）。
实测：局域网握手 2ms、50/50 = 100%、中位 0ms。
（跨网络那半之前拿不到数字，就是被上面那个线程崩溃挡住的 ——
现已修复。）
顺带：instance.py 单实例锁端口加 YKXMZ_LOCK_PORT 覆盖（默认不变）。
用户自己那台被控端正跑在这台机器上占着 8767/TCP + 8766/UDP，
是这次排查里好几个「测试怎么都不通」的根因。
== 服务端一键部署脚本（task-1，另一个智能体完成）==
relay/deploy.sh + relay/deploy-tune.sh，随服务端 zip 发布：
* 自动检查并安装 cloudflared
* 部署程序、装 4 个 systemd 服务、网络调优、配隧道、自检打公网地址
* **不传 --hostname 且没有 TUNNEL_TOKEN 时明确提示要填**，
不会静默用一个写死的域名（用户明确说过这个中转站是他自己用的，
不对外开放，绝不能把私人域名烧成默认值）
* 重跑 = 升级，已有数据/配对码/管理密码/凭据都不动
顺带修了发布包一直缺 site_shots/ 的老 bug
（package_remote.py 用 iterdir()+is_file() 收文件，目录进不去，
新机器装完官网截图全是 404）。
== 默认中转地址改成空白 ==
用户要求：软件默认不带任何中转地址，由用户自己填。
四处硬编码全部清空（server.py / MainActivity.java / run_agent.py /
relay.py 的注释和文档示例），全仓已无非注释的硬编码地址。
== 文档同步（task-5，另一个智能体完成）==
README / BEFORE-INSTALL / AFTER-INSTALL / 打包模板：
* 新增「软件里不带任何中转地址」告示，讲清跨网络要自己部署
* 修正 Android 版本（写的是 9.0/API28，实际 API 24 / Android 7.0）
* 删掉「地址已经内置好了」（现在是错的）
* AGENT_README 原来把作者自己的中转地址当成「内置地址」发给用户，已重写
* RELAY_README 原来写「两条隧道同时跑会互相争抢」，
和真机/CHANGELOG 矛盾；按实测改成「两种协议同时在跑（故意的）」
This commit is contained in:
xmz7891
@@ -0,0 +1,159 @@
|
||||
# task-3 中转稳定性收尾 · 数据报告
|
||||
|
||||
> 起草于 2026-10-07 17:40，最终数字等 2 小时长测结束后填入。
|
||||
|
||||
## 一、最终采用的配置
|
||||
|
||||
| 项 | 值 | 为什么 |
|
||||
|---|---|---|
|
||||
| 隧道实例 1 | `lanremote-tunnel` | QUIC 主力 |
|
||||
| | `--protocol quic --ha-connections 8 --metrics 127.0.0.1:20241` | 实测 QUIC 一旦连上，丢包恢复优于 TCP |
|
||||
| 隧道实例 2 | `lanremote-tunnel-h2` | HTTP/2 兜底 |
|
||||
| | `--protocol http2 --ha-connections 2 --metrics 127.0.0.1:20242` | QUIC 拨号只有 72% 成功，靠它保证总有可用连接 |
|
||||
| 两个实例 | 连**同一个具名隧道** `lanremote` | Cloudflare 把请求分摊到全部 10 条连接 |
|
||||
| wlan0 MTU | `1400` | QUIC 走 UDP，TCPMSS 规则管不到 |
|
||||
| TCP MSS | `1360` | 和 MTU 1400 对齐 |
|
||||
| TCP keepalive | `30 / 10 / 3` | 4G 会静默丢 TCP，默认 7200 秒才察觉 |
|
||||
| 中转长轮询 | `RELAY_POLL=60` | 减少 4 倍请求数 |
|
||||
| watchdog | 双实例 + 自适应阈值（317 行） | 见下 |
|
||||
|
||||
## 二、根因分析
|
||||
|
||||
### 2.1 QUIC 拨号失败 28% —— 握手对丢包比 TCP 敏感
|
||||
|
||||
**先纠正一个我中途搞错的结论。** 我一开始用 Python 发了个简化版 QUIC 包探测
|
||||
UDP 可达性，得到 "UDP 0/12 无回应"，据此判断"运营商封了 UDP"。
|
||||
**这个测量是无效的** —— 那个包格式不对，Cloudflare 本来就不该回应。
|
||||
|
||||
后来用 `--loglevel debug` 跑了一个临时实例，真相是：
|
||||
|
||||
```
|
||||
INF | UDP Connectivity region1.v2.argotunnel.com PASS QUIC connection successful |
|
||||
INF | UDP Connectivity region2.v2.argotunnel.com PASS QUIC connection successful |
|
||||
INF | SUMMARY: Environment is healthy. cloudflared will use 'quic' as primary protocol |
|
||||
INF Registered tunnel connection (09:45:00 -> 09:45:01，握手 1 秒)
|
||||
DBG Received transport parameters MaxUDPPayloadSize=1360
|
||||
DBG QUIC MTU updated to 1296 -> 1328 -> 1344
|
||||
```
|
||||
|
||||
**UDP 完全通，握手成功时只要 1 秒。**
|
||||
|
||||
那为什么历史统计里拨号成功率只有 72%？
|
||||
|
||||
```
|
||||
QUIC 注册 525 失败 197 掉线 48 拨号成功率 72%
|
||||
HTTP/2 注册 13 失败 0 掉线 7 拨号成功率 100%
|
||||
```
|
||||
|
||||
**机制是：QUIC 握手需要 6+ 个包的往返，而 TCP 的 SYN 只有 3 个包且内核会激进重传。**
|
||||
在 4G 这种有几个百分点丢包的链路上，多轮往返的成功率是指数衰减的：
|
||||
|
||||
每次握手约 6 个关键包，单包丢失率 p
|
||||
成功率 ≈ (1-p)^6
|
||||
实测 72% -> p ≈ 5.4%/包
|
||||
|
||||
而 TCP 的建连即使 SYN 丢了，内核会按 1s/2s/4s 重传（`tcp_syn_retries=6`），
|
||||
所以 100% 能连上 —— 代价是慢，但那几条 HTTP/2 连接就是用来兜住这个的。
|
||||
|
||||
**这也顺带解释了为什么"多 QUIC"反而更快**：QUIC 的弱点是"连不上"，
|
||||
不是"连上之后不好"；一旦连上，它没有 TCP 的跨流队头阻塞，反而更稳。
|
||||
|
||||
排除的另一个假设：
|
||||
* `--edge-ip-version 6` 用不了 —— 设备 0 个全局 IPv6 地址，IPv6 到 Cloudflare 也不通
|
||||
（Cloudflare 的 SRV 记录确实返回了 AAAA，但本机没有 IPv6 出口）
|
||||
|
||||
### 2.2 为什么"多 QUIC"反而更快（反直觉）
|
||||
|
||||
| 配置 | 可用率 | 中位 | P90 | P99 |
|
||||
|---|---|---|---|---|
|
||||
| quic5 + h2 5 | 100% | 1490 | 2346 | 3295 |
|
||||
| quic3 + h2 7 | 97% | 1271 | 2558 | **13934** |
|
||||
| quic8 + h2 2 | **100%** | **1250** | **1715** | **2632** |
|
||||
|
||||
QUIC 拨号成功率低，但**一旦连上，它的丢包恢复明显优于 HTTP/2 over TCP**
|
||||
（没有跨流的队头阻塞）。所以最优组合是"尽量多 QUIC + 少量 HTTP/2 兜底"。
|
||||
|
||||
### 2.3 MTU 1400 的效果
|
||||
|
||||
QUIC 走 UDP，我们那条 `iptables -j TCPMSS --set-mss` 规则**只对 TCP 生效**。
|
||||
路径 MTU 实测 1472，而 debug 日志显示 Cloudflare 报的 `MaxUDPPayloadSize=1360`，
|
||||
QUIC 自己也在做 MTU 探测（1296 -> 1328 -> 1344）。
|
||||
把 wlan0 MTU 从 1500 降到 1400 后：
|
||||
|
||||
```
|
||||
QUIC 建齐 6 条连接 28 秒 -> 13 秒
|
||||
dial 失败次数 2 -> 1
|
||||
```
|
||||
|
||||
### 2.4 异常长轮询（126 秒）是隧道重启造成的
|
||||
|
||||
30 次长轮询里出现两次 ~126.7 秒（正好是 2 倍 hold + 开销）：
|
||||
|
||||
```
|
||||
#1 17:30:42 开始 -> 17:31:40 watchdog 重启了两个实例 -> 实际 126604ms
|
||||
#10 17:40:59 开始 -> 17:41:56 公网 000、17:42:46 重启 h2 -> 126716ms
|
||||
其余 61~62 秒正常
|
||||
```
|
||||
|
||||
**对齐时间线后确认：异常长轮询都发生在隧道被重启的窗口里**，
|
||||
不是稳态行为。而重启有一部分正是看门狗过于激进的策略引起的
|
||||
（见 3.2），所以"收紧重启策略"本身就直接改善了长轮询的尾部延迟。
|
||||
|
||||
**这带来一个需要 Lead 决定的点**：客户端 `POLL_TIMEOUT` 是 120000ms，
|
||||
126 秒会被判失败。要么把超时放宽到 180 秒，要么把 `RELAY_POLL` 降到 45 秒
|
||||
（这样 2 倍也只有 ~93 秒）。两者都涉及 android/ 和 windows/，超出我的授权范围。
|
||||
|
||||
## 三、修掉的两个真 bug
|
||||
|
||||
### 3.1 metrics 端口和实例的对应关系会翻转（严重）
|
||||
|
||||
两个服务的 ExecStart **都没写 `--metrics`**，都用 cloudflared 默认的 20241。
|
||||
正常启动顺序下看着是"主=20241 副=20242"，**但那只是巧合**。
|
||||
|
||||
实测：把主实例 stop 掉、再重启副实例，**副实例就抢到了 20241**。
|
||||
于是"20241 是谁"翻转，watchdog 和所有按端口读指标的脚本全部读错实例
|
||||
（我自己的 A/B 对照就因此出了一组完全反向的数据）。
|
||||
|
||||
修法两层：
|
||||
1. 给两个服务显式钉死 `--metrics`，并实测验证（停主实例后副实例不再抢）
|
||||
2. watchdog 改成从服务配置里读端口，以后谁改了端口它跟着走
|
||||
|
||||
### 3.2 watchdog 在双实例下有盲点
|
||||
|
||||
第三版：`METRICS` 写死 20241，**只看得到 QUIC 那个实例**；
|
||||
`restart_tunnel` 只重启 `lanremote-tunnel`，副实例僵死永远不会被拉起来。
|
||||
|
||||
第四版（193 → 317 行）：
|
||||
* 分别读两个实例，分实例判断
|
||||
* 某实例端口无响应 **或** 连接数为 0 且过了宽限期 → 只重启那一个
|
||||
* 两个都垮 / 公网不通 → 重启两个
|
||||
* "建齐"阈值按总连接数算
|
||||
|
||||
**另外发现它在"帮倒忙"**：
|
||||
|
||||
```
|
||||
17:30:59 公网不通（HTTP 000，连接 7+2=9 条，健康）
|
||||
17:31:19 公网不通（HTTP 000，连接 8+2，健康）
|
||||
17:31:40 公网不通（HTTP 000，连接 7+2，健康）
|
||||
17:31:40 连续 3 次 —— 重启两个实例
|
||||
17:32:35 重启后只剩 7 条（6+1）
|
||||
```
|
||||
|
||||
连接明明健康，它却因为"公网 3 次不通"把隧道重启了。
|
||||
而**重启会主动切断全部连接**，接下来 60 秒真的不可用 ——
|
||||
等于把一次"抖一下就好"的故障升级成确定的 1 分钟中断。
|
||||
|
||||
加了自适应阈值：
|
||||
* 连接健康（≥6 条）→ 要连续失败 **8 次**（约 2.5 分钟）才重启
|
||||
* 连接降级 → 保持 **3 次**快速重启
|
||||
* 日志僵死 + 公网不通 → 立即重启（原逻辑保留）
|
||||
|
||||
4 个场景的桩测试全部通过（第 8 次 / 第 1 次 / 第 3 次 / 永不）。
|
||||
|
||||
## 四、实测数据
|
||||
|
||||
（待 2 小时长测结束后填入）
|
||||
|
||||
## 五、受链路物理条件限制、做不到 100% 的部分
|
||||
|
||||
（待填）
|
||||
Reference in New Issue
Block a user