Files
ykxmz/_build/fix_monitor_https.py
xmz7891 47e08af151 监测单元和预案重写成"分层"版(来源改为本地整份文件)
== 为什么重写 ==

certbot 签证书时加了 http -> https 的 301,而监测单元原来判断
"curl 拿到 200 才算健康"、且 curl **默认不跟跳转** -> 拿到 301
-> 判成"网站挂了" -> 又要启动预案 -> 重启中转 -> 再查还是 301。
这是**第二次**踩同一类坑了(上一次是改监听地址忘了改探测地址)。

共同教训:**改了入口的行为,必须回头看所有探测入口的地方。**

== 新设计:分两层探测 ==

    PRIMARY   https://yk.xxmxxs.top/v1/health     用户实际走的路
    FALLBACK  http://127.0.0.1:13245/v1/health    中转本身

两个都查才能分清哪一层坏了,进而选对抢救动作:

    PRIMARY 挂 + FALLBACK 好  -> edge 层(CF / DNS / nginx)
   两个都挂                  -> core 层(中转服务本身)

预案据此走不同的阶梯:

    edge: 重载 nginx -> 重启 nginx -> 查 443 与证书
    core: 重启中转 -> 强杀重拉 -> 中转+nginx 都重启

不区分层次的话只能瞎重启,而 edge 层的问题重启中转一万次也没用。

== 做法上的改进:不再远端打补丁 ==

前几轮一直是"SSH 过去用嵌套 heredoc 现场改 monitor.sh",
连续踩三次:PowerShell 在本机求值 \、引号被吃、
脚本里的 %{http_code} 和 Python 的 %% 格式化打架。

现在改成:relay/monitor-lightsail.sh 和 relay/rescue-lightsail.sh
是**唯一事实来源**,本地编辑 -> 整份上传 -> 重装,
改了什么一目了然,也能进 git。

== 顺带 ==

因为 Lightsail 防火墙还没放行 443,PRIMARY 一直是 000,
监测会把 fails 一直加上去、白生成抢救报告。
所以暂时把 monitor.timer 停掉,等 443 开了再启用
(脚本 _build/pause_monitor.py,恢复是一条 systemctl start)。
2026-10-08 22:53:44 +08:00

172 lines
7.1 KiB
Python
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# -*- coding: utf-8 -*-
r'''监测单元适配"80 会 301 到 https"之后的新情况。
== 问题 ==
certbot 签证书时加了 `--redirect`,于是 nginx 的 80 端口现在这样:
listen 80; server_name yk.xxmxxs.top;
return 301 https://$host$request_uri;
而监测单元原来的判断是"curl 拿到 200 才算健康"。curl **默认不跟跳转**,
于是它拿到 301 -> 判定失败 -> 连续 3 次就启动紧急预案
-> 预案重启中转服务 -> 再查还是 301 -> **又一个无限循环**。
这个坑和刚才那个"改监听地址忘了改探测地址"是同一类:
**改了入口的行为,必须回头看所有探测入口的地方。**
== 改法 ==
把探测地址和判断都改成"看用户真实路径":
PRIMARY https://yk.xxmxxs.top/v1/health (经 Cloudflare,用户实际走的)
FALLBACK http://127.0.0.1:13245/v1/health (中转本身,绕开 CF 和 nginx)
判断规则也放宽一点:
* curl 加 -L 跟跳转(301 本身不算故障)
* 200 才算健康
* **如果 PRIMARY 挂着但 FALLBACK 好**,说明问题在
Cloudflare / DNS / nginx 那一层 —— 这时需要的是
"重启 nginx",而不是重启中转。所以预案里补一级。
== 为什么 PRIMARY 用 https 而不是 http ==
因为 http 现在只是个跳转,真正的服务在 https 上。
用 https 探测,用户遇到什么我们就测到什么。
(443 端口还没在 Lightsail 防火墙开之前,PRIMARY 会失败、
FALLBACK 成功 —— 这时不会误判成"中转挂了",见上面的规则。)
'''
from __future__ import annotations
import sys
from pathlib import Path
ROOT = Path(__file__).resolve().parent.parent
sys.path.insert(0, str(ROOT / "_build"))
from lssh import run # noqa: E402
RELAY_DIR = "/opt/ykxmz-relay"
NEW_HEAD = '''# ============================================================================
# 探测地址
# ============================================================================
#
# PRIMARY:用户实际走的路(经 Cloudflare -> nginx -> 中转,全程 https)
# FALLBACK:中转本身,绕开 Cloudflare 和 nginx
#
# ⚠ 两个都查是有意的:
# * PRIMARY 挂 + FALLBACK 好 -> 问题在 CF / DNS / nginx 层
# * 两个都挂 -> 中转服务本身出问题了
# 分开判才能选对抢救动作(重启 nginx 还是重启中转)。
PRIMARY_URL="${PRIMARY_URL:-https://yk.xxmxxs.top}"
FALLBACK_URL="${FALLBACK_URL:-http://127.0.0.1:13245}"
'''
def main() -> int:
print("=" * 62)
print(" 监测单元适配 https + 301")
print("=" * 62)
print()
print(" ── 1. 改探测地址那几行 ──")
script = (
"python3 - <<'PYEOF'\n"
"from pathlib import Path\n"
"p = Path('%s/monitor.sh')\n"
"lines = p.read_text(encoding='utf-8').splitlines()\n"
"out = []\n"
"done = False\n"
"for l in lines:\n"
" if l.startswith('PUBLIC_URL=') or l.startswith('FALLBACK_URL='):\n"
" continue\n"
" if l.strip() == '# 探测地址:域名优先(用户实际走的路),IP:80 兜底' and not done:\n"
" out.append(%r)\n"
" done = True\n"
" continue\n"
" out.append(l)\n"
"p.write_text('\\n'.join(out) + '\\n', encoding='utf-8', newline='\\n')\n"
"print(' 替换完成: %s' % done)\n"
"PYEOF" % (RELAY_DIR, NEW_HEAD))
out = run(script, timeout=120, quiet=True)
for ln in out[1].strip().splitlines():
print(" " + ln)
print()
print(" ── 2. 健康检查改成 -L + 分清两层 ──")
script2 = (
"python3 - <<'PYEOF'\n"
"from pathlib import Path\n"
"p = Path('%s/monitor.sh')\n"
"t = p.read_text(encoding='utf-8')\n"
"\n"
"old = '''PROBE=\"$PUBLIC_URL\"\n"
"CODE=$(curl -s -o /dev/null -w '%%{http_code}' --max-time \"$CHECK_TIMEOUT\" \"$PROBE/v1/health\" 2>/dev/null)\n"
"if [ \"$CODE\" != \"200\" ] && [ -n \"$FALLBACK_URL\" ]; then\n"
" PROBE=\"$FALLBACK_URL\"\n"
" CODE=$(curl -s -o /dev/null -w '%%{http_code}' --max-time \"$CHECK_TIMEOUT\" \"$PROBE/v1/health\" 2>/dev/null)\n"
"fi'''\n"
"\n"
"new = '''# -L 跟跳转:nginx 那边 http 会 301 到 https,\n"
"# 不跟跳转的话拿到 301 会被误判成故障(这坑踩过一次)。\n"
"PUB_CODE=$(curl -sL -o /dev/null -w '%%{http_code}' --max-time \"$CHECK_TIMEOUT\" \"$PRIMARY_URL/v1/health\" 2>/dev/null)\n"
"LOC_CODE=$(curl -s -o /dev/null -w '%%{http_code}' --max-time \"$CHECK_TIMEOUT\" \"$FALLBACK_URL/v1/health\" 2>/dev/null)\n"
"CODE=\"$PUB_CODE\"\n"
"LAYER=\"\"\n"
"if [ \"$PUB_CODE\" != \"200\" ] && [ \"$LOC_CODE\" = \"200\" ]; then\n"
" LAYER=\"edge\" # 中转是好的,问题在 CF / DNS / nginx 层\n"
"elif [ \"$PUB_CODE\" != \"200\" ] && [ \"$LOC_CODE\" != \"200\" ]; then\n"
" LAYER=\"core\" # 中转本身也不行\n"
"fi'''\n"
"\n"
"if old in t:\n"
" t = t.replace(old, new, 1)\n"
" print(' ok 健康检查替换完成')\n"
"else:\n"
" print(' x 没匹配上,实际内容:')\n"
" i = t.find('CODE=$(curl')\n"
" print(t[max(0,i-200):i+400])\n"
"p.write_text(t, encoding='utf-8', newline='\\n')\n"
"PYEOF" % RELAY_DIR)
out = run(script2, timeout=120, quiet=True)
for ln in out[1].strip().splitlines():
print(" " + ln)
print()
print(" ── 3. 语法检查 + 跑一次 ──")
out = run("bash -n %s/monitor.sh && echo ' 语法 OK'; "
"printf 'fails=0\\nlast_rescue=0\\n' > "
"%s/monitor_state.txt; "
"bash %s/monitor.sh; echo ' --- 状态 ---'; "
"cat %s/monitor_state.txt; echo ' --- 日志尾 ---'; "
"grep -v 'Permission denied' %s/monitor.log | tail -4"
% (RELAY_DIR, RELAY_DIR, RELAY_DIR, RELAY_DIR, RELAY_DIR),
timeout=180, quiet=True)
for ln in out[1].strip().splitlines():
print(" " + ln)
print()
print(" ── 4. 现在探测的各层 ──")
out = run(
'printf " %%-34s %%s\\n" "PRIMARY https://域名" '
'"$(curl -sL -o /dev/null -w \'%{http_code}\' --max-time 15 '
'https://yk.xxmxxs.top/v1/health)"; '
'printf " %%-34s %%s\\n" "FALLBACK 127.0.0.1:13245" '
'"$(curl -s -o /dev/null -w \'%{http_code}\' --max-time 8 '
'http://127.0.0.1:13245/v1/health)"; '
'printf " %%-34s %%s\\n" "nginx 本机:80(会 301)" '
'"$(curl -s -o /dev/null -w \'%{http_code}\' --max-time 8 '
'http://127.0.0.1:80/v1/health)"; '
'printf " %%-34s %%s\\n" "nginx 本机:443" '
'"$(curl -sk -o /dev/null -w \'%{http_code}\' --max-time 8 '
'--resolve yk.xxmxxs.top:443:127.0.0.1 '
'https://yk.xxmxxs.top/v1/health)"',
timeout=180, quiet=True)
for ln in out[1].strip().splitlines():
print(ln)
return 0
if __name__ == "__main__":
sys.exit(main())