修「经中转几次后永久哑掉」——「按一下没反应」的真因

== 现象 ==

用户报:
  * 局域网能搜到电脑,IP/端口/配对码都对,连上后**没有任何反应**
  * 走中转「已配对」,但点按钮没反应

局域网那一半已经修过(preferLan)。这次抓到的是**经中转**那一半,
而且比预想的严重得多。

== 证据链(插桩复现出来的)==

被控端日志里直接抛了未捕获异常,线程当场死:

    Exception in thread client-relay:
      server.py:407  session.send(reply)
      relay.py:166   self._link.send_to_client(data)
      relay.py:357   self._post("/v1/agent/send", ...)
      relay.py:766   raise RelayError(f"请求失败: {last_error}")
    lanremote.relay.RelayError: 请求失败: Idle

之后的状态:
  * client-relay 线程没了 —— 电脑再也不往手表回任何东西
  * relay-link 线程还活着、还在长轮询 —— 中转那边看着「设备在线」
  * **手表看到的就是「连上了,但按一下毫无反应」**

写入仓库的测试 _tests/test_relay_local.py 一直是这个形状:
前面几项 PASS、跑到经中转发命令就卡死。之前没人深挖。

== 根因 1:一条 HTTP/1.1 连接被两个线程同时用 ==

_post() 里锁只包住「取连接」那一段:

    with self._http_lock:
        connection = self._http      # 锁到这里就放了
    try:
        connection.request("POST", ...)   # 锁外发请求

于是两个线程会同时用同一条 connection:
  * relay-link 线程跑 /v1/agent/poll —— 长轮询,一条请求挂 180 秒
  * client-relay 线程同时 POST /v1/agent/send

HTTP/1.1 一条连接同一时刻只能有一个在途请求,第二个线程一进来
就撞上 http.client 状态机,抛 CannotSendRequest("Idle")。

_post 的「重试一次」也救不了:它 _drop_http() 之后,另一个线程
手里还攥着那条旧连接对象在发,照样坏。

修法:
  * **发命令用独立连接**(_post 加 dedicated 参数)。
    长轮询那条常年被占着,发命令不该去挤它,各走各的。
  * 两条连接各自一把锁**锁住整个「发请求 + 读响应」周期**,
    不再只锁取连接那一下。
  * 普通请求若发现缓存连接正忙(长轮询在途),临时另开一条用完即关。
  * _drop_http(dedicated=) 区分清哪条;finally 里一定归还占用
    (否则那条连接会被永久标记为忙)。

== 根因 2:回包失败会打死整个会话线程 ==

server.py 的 _client_loop 里:

    if reply is not None:
        session.send(reply)      # <- 不在任何 try 里
    ...
    except OSError:              # <- 外层只捕获 OSError
        pass

而中转链路上 send 抛的是 RelayError,直接冒出去把线程打死。
**死一次就永久哑**,代价太大。

修法:session.send() 单独兜住所有异常,失败就断开这个会话
(让手表重连),绝不让线程消失。外层也补一个兜底 except。

== 修复效果 ==

    修复前:pair OK -> ping OK -> ping 卡死 -> 线程崩溃,永久哑
    修复后:pair 21ms -> ping 82ms -> ping 4ms -> ping 6ms,零异常

_tests/test_relay_local.py:**之前完全卡死 -> 现在 21/21 全过**

这个测试之前一直是红的,说明「35 个阶段的回归全绿」这件事
本身就不成立过 —— 某个阶段卡住时看起来像环境问题而不是缺陷。

== 同批修掉验证阶段找到的其它问题 ==

1. **TTL 清理 + 关掉接入开关 = 设备永久锁死**(严重)
   register() 用 `device_id in self.devices` 判断老设备,但超时清理
   把设备从 devices 和 codes 都删了。电脑关机过夜(必然 > 6 小时)
   第二天开机就会被自己的开关挡住,而且**重启也救不回来**
   (清 codes 时没落盘,重启后又当孤儿清一遍,自我维系)。
   管理员在页面上还看不到这台设备,不知道该放开谁。
   修法:状态文件里单独存 knownDevices 设备历史,超时清理绝不动它;
   register 改查这份历史;清理后补 _save();delete_device 才真正忘记。

2. **管理页 JS 语法错误 -> 所有按钮失效**(严重)
   admin.py 里 ADMIN_JS 是普通三引号字符串,我在 Python 源码里写的
   `\n` 被变成真实换行,拼进 JS 就是字符串里的裸换行 ->
   整段 <script> 不执行 -> 改码/删除/批量删除/全选全变幽灵按键。
   元凶是我加改码功能那次提交。改成 `\\n`。

3. **--relay / --relay-status 崩溃**(严重)
   RelayLink.start(url) 的 url 是必填参数,我把默认地址改空白时
   run_agent.py 两处调用没跟着改。一处被 try 吞成「测试失败:missing
   1 required positional argument」(用户以为地址填错了),
   一处直接报栈。两处都补上 url。

4. 非法 deviceId(控制字符 / 路径分隔符)现在被拒(白名单:
   字母数字 + - _ . :)

5. enable_relay() 第二次调用不再谎报成功(加 RelayLink.running 属性,
   返回值反映真实运行状态;不再用「对象建过没有」判断)

6. snapshot() 清孤儿码后补 _save(),磁盘和内存不再脱节

== 局域网全面优化(task-2,另一个智能体完成)==

4 个真问题:
  * **网段判断写死 /24** —— 在 /16 网络上 10.8.1.5 和 10.8.2.5
    被判成不同网络,明明能直连却去走中转还费流量。
    改成按网卡真实掩码比较。
  * **广播只发一个包** —— 丢一个就整轮搜不到。改成 5 个时间点重发。
  * **只探一个网段** —— 多网卡手表搜不到另一网段的电脑。改成全探。
  * **走中转之后再也回不到局域网** —— 出门再回家永远挂中转。
    新增定期回切(先便宜地 TCP ping,通了才动真格,
    不破坏正在工作的中转连接)。

实测:局域网握手 2ms、50/50 = 100%、中位 0ms。
(跨网络那半之前拿不到数字,就是被上面那个线程崩溃挡住的 ——
  现已修复。)

顺带:instance.py 单实例锁端口加 YKXMZ_LOCK_PORT 覆盖(默认不变)。
用户自己那台被控端正跑在这台机器上占着 8767/TCP + 8766/UDP,
是这次排查里好几个「测试怎么都不通」的根因。

== 服务端一键部署脚本(task-1,另一个智能体完成)==

relay/deploy.sh + relay/deploy-tune.sh,随服务端 zip 发布:
  * 自动检查并安装 cloudflared
  * 部署程序、装 4 个 systemd 服务、网络调优、配隧道、自检打公网地址
  * **不传 --hostname 且没有 TUNNEL_TOKEN 时明确提示要填**,
    不会静默用一个写死的域名(用户明确说过这个中转站是他自己用的,
    不对外开放,绝不能把私人域名烧成默认值)
  * 重跑 = 升级,已有数据/配对码/管理密码/凭据都不动

顺带修了发布包一直缺 site_shots/ 的老 bug
(package_remote.py 用 iterdir()+is_file() 收文件,目录进不去,
新机器装完官网截图全是 404)。

== 默认中转地址改成空白 ==

用户要求:软件默认不带任何中转地址,由用户自己填。
四处硬编码全部清空(server.py / MainActivity.java / run_agent.py /
relay.py 的注释和文档示例),全仓已无非注释的硬编码地址。

== 文档同步(task-5,另一个智能体完成)==

README / BEFORE-INSTALL / AFTER-INSTALL / 打包模板:
  * 新增「软件里不带任何中转地址」告示,讲清跨网络要自己部署
  * 修正 Android 版本(写的是 9.0/API28,实际 API 24 / Android 7.0)
  * 删掉「地址已经内置好了」(现在是错的)
  * AGENT_README 原来把作者自己的中转地址当成「内置地址」发给用户,已重写
  * RELAY_README 原来写「两条隧道同时跑会互相争抢」,
    和真机/CHANGELOG 矛盾;按实测改成「两种协议同时在跑(故意的)」
This commit is contained in:
xmz7891
2026-10-07 17:59:39 +08:00
parent b2bfa6ffbf
commit 8880e7033d
290 changed files with 13216 additions and 1159 deletions
+135
View File
@@ -0,0 +1,135 @@
#!/bin/bash
# 从两个隧道日志里统计 QUIC vs HTTP/2 的连接行为,按 edge IP 聚合。
#
# 目的:判断 QUIC dial 失败到底是"某些 IP 不可达"还是"UDP 整体被限制"。
# 如果失败集中在少数 IP -> 是那些 IP 的问题,可以避开
# 如果所有 IP 都失败 -> 是 UDP 整体被运营商限制,只能靠 HTTP/2 兜底
set -u
MAIN=/root/lanremote-relay/tunnel.log
H2=/root/lanremote-relay/tunnel-h2.log
echo "════════ 1. QUIC 实例(tunnel.log)════════"
echo " 日志时间跨度: $(head -1 "$MAIN" 2>/dev/null | cut -c1-19) ~ $(tail -1 "$MAIN" 2>/dev/null | cut -c1-19)"
echo " 总行数: $(wc -l < "$MAIN")"
echo
echo " ── 各类事件计数 ──"
for kw in 'Registered tunnel connection' 'Failed to dial' 'Lost connection' \
'Unregistered' 'no recent network activity' 'Retrying connection' \
'Serve tunnel error' 'context deadline' 'i/o timeout'; do
n=$(grep -c "$kw" "$MAIN" 2>/dev/null || echo 0)
printf " %-34s %s\n" "$kw" "$n"
done
echo
echo " ── Failed to dial 按 IP 聚合(谁的失败最多)──"
grep 'Failed to dial' "$MAIN" 2>/dev/null \
| grep -oE 'ip=[0-9.]+' | sort | uniq -c | sort -rn | head -12 | sed 's/^/ /'
echo
echo " ── 成功注册按 IP 聚合 ──"
grep 'Registered tunnel connection' "$MAIN" 2>/dev/null \
| grep -oE 'ip=[0-9.]+' | sort | uniq -c | sort -rn | head -12 | sed 's/^/ /'
echo
echo " ── 成功注册按落点聚合 ──"
grep 'Registered tunnel connection' "$MAIN" 2>/dev/null \
| grep -oE 'location=[a-z0-9]+' | sort | uniq -c | sort -rn | head -12 | sed 's/^/ /'
echo
echo "════════ 2. HTTP/2 实例(tunnel-h2.log)════════"
echo " 日志时间跨度: $(head -1 "$H2" 2>/dev/null | cut -c1-19) ~ $(tail -1 "$H2" 2>/dev/null | cut -c1-19)"
echo " 总行数: $(wc -l < "$H2")"
echo
for kw in 'Registered tunnel connection' 'Failed to dial' 'Lost connection' \
'Unregistered' 'Retrying connection' 'i/o timeout' 'context deadline'; do
n=$(grep -c "$kw" "$H2" 2>/dev/null || echo 0)
printf " %-34s %s\n" "$kw" "$n"
done
echo
echo " ── 成功注册按落点聚合 ──"
grep 'Registered tunnel connection' "$H2" 2>/dev/null \
| grep -oE 'location=[a-z0-9]+' | sort | uniq -c | sort -rn | head -10 | sed 's/^/ /'
echo
echo "════════ 3. 两者的「注册/失败」比率对比 ════════"
for pair in "QUIC:$MAIN" "HTTP2:$H2"; do
name="${pair%%:*}"; f="${pair##*:}"
reg=$(grep -c 'Registered tunnel connection' "$f" 2>/dev/null || echo 0)
fail=$(grep -c 'Failed to dial' "$f" 2>/dev/null || echo 0)
lost=$(grep -c 'Lost connection' "$f" 2>/dev/null || echo 0)
tot=$((reg + fail))
pct=0
[ "$tot" -gt 0 ] && pct=$((reg * 100 / tot))
printf " %-6s 注册 %4d 失败 %4d 掉线 %3d 成功率 %d%%\n" \
"$name" "$reg" "$fail" "$lost" "$pct"
done
echo
echo "════════ 4. 失败的时间分布(按 10 分钟分桶)════════"
echo " QUIC 的 Failed to dial:"
grep 'Failed to dial' "$MAIN" 2>/dev/null \
| sed -E 's/^([0-9-]+T[0-9]{2}:[0-9]).*/\1/' \
| sed -E 's/(T[0-9]{2}:[0-9])[0-9]/\10/' \
| sort | uniq -c | tail -20 | sed 's/^/ /'
echo
echo "════════ 5. UDP 可达性实测(对 Cloudflare edge 的 7844/UDP)════════"
python3 - <<'PYEOF'
import socket, time, struct, os
# QUIC 的 Initial 包要正确构造才会有回应;这里用一个最简的
# "版本协商探测":发一个短 header,看有没有任何 UDP 回应。
# 关键判断不是"内容对不对",而是**有没有任何包回来** ——
# 如果连 ICMP port-unreachable 都没有,说明 UDP 被完全丢掉了。
IPS = ["198.41.192.227", "198.41.200.23", "198.41.200.193", "198.41.200.43",
"198.41.200.63", "198.41.192.57", "198.41.192.47", "198.41.200.33",
"198.41.192.107", "198.41.192.67", "198.41.192.167", "198.41.200.113"]
def tcp_probe(ip, port=7844, timeout=3):
s = socket.socket(); s.settimeout(timeout)
t = time.perf_counter()
try:
s.connect((ip, port))
return (time.perf_counter() - t) * 1000, True
except OSError:
return (time.perf_counter() - t) * 1000, False
finally:
s.close()
def udp_probe(ip, port=7844, timeout=3):
"""发一个 QUIC 长头 Initial 形状的包,等任何回应。"""
s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
s.settimeout(timeout)
t = time.perf_counter()
try:
# 最小可解析的 QUIC long header:flags=0xc0, version=1,
# dcid len=8, dcid, scid len=0, token len=0, length=8, payload
pkt = b"\xc0\x00\x00\x00\x01" + b"\x08" + os.urandom(8) + b"\x00" \
+ b"\x00" + struct.pack(">H", 8) + os.urandom(8)
s.sendto(pkt, (ip, port))
data, _addr = s.recvfrom(2048)
return (time.perf_counter() - t) * 1000, True
except socket.timeout:
return (time.perf_counter() - t) * 1000, False
except OSError as e:
# ICMP port unreachable 会以 ConnectionRefusedError 冒出来
return (time.perf_counter() - t) * 1000, ("refused" in str(e).lower())
finally:
s.close()
tcp_ok = 0; udp_ok = 0
print(" %-16s %-18s %s" % ("IP", "TCP:7844", "UDP:7844"))
for ip in IPS:
tms, tok = tcp_probe(ip)
ums, uok = udp_probe(ip)
tcp_ok += 1 if tok else 0
udp_ok += 1 if uok else 0
print(" %-16s %-18s %s" % (
ip,
"通 %.0fms" % tms if tok else "不通",
"通 %.0fms" % ums if uok else "无回应"))
print()
print(" TCP 可达 %d/%d UDP 有回应 %d/%d" % (tcp_ok, len(IPS), udp_ok, len(IPS)))
print(" 结论: UDP 有回应数远少于 TCP -> UDP 被链路限制,QUIC 先天不利")
PYEOF