mirror of
https://gitee.com/xmz7891/ykxmz.git
synced 2026-10-18 12:30:44 +00:00
监测单元和预案重写成"分层"版（来源改为本地整份文件）
== 为什么重写 ==
certbot 签证书时加了 http -> https 的 301，而监测单元原来判断
"curl 拿到 200 才算健康"、且 curl **默认不跟跳转** -> 拿到 301
-> 判成"网站挂了" -> 又要启动预案 -> 重启中转 -> 再查还是 301。
这是**第二次**踩同一类坑了（上一次是改监听地址忘了改探测地址）。
共同教训：**改了入口的行为，必须回头看所有探测入口的地方。**
== 新设计：分两层探测 ==
PRIMARY https://yk.xxmxxs.top/v1/health 用户实际走的路
FALLBACK http://127.0.0.1:13245/v1/health 中转本身
两个都查才能分清哪一层坏了，进而选对抢救动作：
PRIMARY 挂 + FALLBACK 好 -> edge 层（CF / DNS / nginx）
两个都挂 -> core 层（中转服务本身）
预案据此走不同的阶梯：
edge: 重载 nginx -> 重启 nginx -> 查 443 与证书
core: 重启中转 -> 强杀重拉 -> 中转+nginx 都重启
不区分层次的话只能瞎重启，而 edge 层的问题重启中转一万次也没用。
== 做法上的改进：不再远端打补丁 ==
前几轮一直是"SSH 过去用嵌套 heredoc 现场改 monitor.sh"，
连续踩三次：PowerShell 在本机求值 \、引号被吃、
脚本里的 %{http_code} 和 Python 的 %% 格式化打架。
现在改成：relay/monitor-lightsail.sh 和 relay/rescue-lightsail.sh
是**唯一事实来源**，本地编辑 -> 整份上传 -> 重装，
改了什么一目了然，也能进 git。
== 顺带 ==
因为 Lightsail 防火墙还没放行 443，PRIMARY 一直是 000，
监测会把 fails 一直加上去、白生成抢救报告。
所以暂时把 monitor.timer 停掉，等 443 开了再启用
（脚本 _build/pause_monitor.py，恢复是一条 systemctl start）。
This commit is contained in:
xmz7891
@@ -0,0 +1,171 @@
|
||||
# -*- coding: utf-8 -*-
|
||||
r'''监测单元适配"80 会 301 到 https"之后的新情况。
|
||||
|
||||
== 问题 ==
|
||||
|
||||
certbot 签证书时加了 `--redirect`，于是 nginx 的 80 端口现在这样：
|
||||
|
||||
listen 80; server_name yk.xxmxxs.top;
|
||||
return 301 https://$host$request_uri;
|
||||
|
||||
而监测单元原来的判断是"curl 拿到 200 才算健康"。curl **默认不跟跳转**，
|
||||
于是它拿到 301 -> 判定失败 -> 连续 3 次就启动紧急预案
|
||||
-> 预案重启中转服务 -> 再查还是 301 -> **又一个无限循环**。
|
||||
|
||||
这个坑和刚才那个"改监听地址忘了改探测地址"是同一类：
|
||||
**改了入口的行为，必须回头看所有探测入口的地方。**
|
||||
|
||||
== 改法 ==
|
||||
|
||||
把探测地址和判断都改成"看用户真实路径"：
|
||||
|
||||
PRIMARY https://yk.xxmxxs.top/v1/health （经 Cloudflare，用户实际走的）
|
||||
FALLBACK http://127.0.0.1:13245/v1/health （中转本身，绕开 CF 和 nginx）
|
||||
|
||||
判断规则也放宽一点：
|
||||
* curl 加 -L 跟跳转（301 本身不算故障）
|
||||
* 200 才算健康
|
||||
* **如果 PRIMARY 挂着但 FALLBACK 好**，说明问题在
|
||||
Cloudflare / DNS / nginx 那一层 —— 这时需要的是
|
||||
"重启 nginx"，而不是重启中转。所以预案里补一级。
|
||||
|
||||
== 为什么 PRIMARY 用 https 而不是 http ==
|
||||
|
||||
因为 http 现在只是个跳转，真正的服务在 https 上。
|
||||
用 https 探测，用户遇到什么我们就测到什么。
|
||||
（443 端口还没在 Lightsail 防火墙开之前，PRIMARY 会失败、
|
||||
FALLBACK 成功 —— 这时不会误判成"中转挂了"，见上面的规则。）
|
||||
'''
|
||||
from __future__ import annotations
|
||||
|
||||
import sys
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path(__file__).resolve().parent.parent
|
||||
sys.path.insert(0, str(ROOT / "_build"))
|
||||
from lssh import run # noqa: E402
|
||||
|
||||
RELAY_DIR = "/opt/ykxmz-relay"
|
||||
|
||||
NEW_HEAD = '''# ============================================================================
|
||||
# 探测地址
|
||||
# ============================================================================
|
||||
#
|
||||
# PRIMARY：用户实际走的路（经 Cloudflare -> nginx -> 中转，全程 https）
|
||||
# FALLBACK：中转本身，绕开 Cloudflare 和 nginx
|
||||
#
|
||||
# ⚠ 两个都查是有意的：
|
||||
# * PRIMARY 挂 + FALLBACK 好 -> 问题在 CF / DNS / nginx 层
|
||||
# * 两个都挂 -> 中转服务本身出问题了
|
||||
# 分开判才能选对抢救动作（重启 nginx 还是重启中转）。
|
||||
PRIMARY_URL="${PRIMARY_URL:-https://yk.xxmxxs.top}"
|
||||
FALLBACK_URL="${FALLBACK_URL:-http://127.0.0.1:13245}"
|
||||
'''
|
||||
|
||||
|
||||
def main() -> int:
|
||||
print("=" * 62)
|
||||
print(" 监测单元适配 https + 301")
|
||||
print("=" * 62)
|
||||
|
||||
print()
|
||||
print(" ── 1. 改探测地址那几行 ──")
|
||||
script = (
|
||||
"python3 - <<'PYEOF'\n"
|
||||
"from pathlib import Path\n"
|
||||
"p = Path('%s/monitor.sh')\n"
|
||||
"lines = p.read_text(encoding='utf-8').splitlines()\n"
|
||||
"out = []\n"
|
||||
"done = False\n"
|
||||
"for l in lines:\n"
|
||||
" if l.startswith('PUBLIC_URL=') or l.startswith('FALLBACK_URL='):\n"
|
||||
" continue\n"
|
||||
" if l.strip() == '# 探测地址：域名优先（用户实际走的路），IP:80 兜底' and not done:\n"
|
||||
" out.append(%r)\n"
|
||||
" done = True\n"
|
||||
" continue\n"
|
||||
" out.append(l)\n"
|
||||
"p.write_text('\\n'.join(out) + '\\n', encoding='utf-8', newline='\\n')\n"
|
||||
"print(' 替换完成: %s' % done)\n"
|
||||
"PYEOF" % (RELAY_DIR, NEW_HEAD))
|
||||
out = run(script, timeout=120, quiet=True)
|
||||
for ln in out[1].strip().splitlines():
|
||||
print(" " + ln)
|
||||
|
||||
print()
|
||||
print(" ── 2. 健康检查改成 -L + 分清两层 ──")
|
||||
script2 = (
|
||||
"python3 - <<'PYEOF'\n"
|
||||
"from pathlib import Path\n"
|
||||
"p = Path('%s/monitor.sh')\n"
|
||||
"t = p.read_text(encoding='utf-8')\n"
|
||||
"\n"
|
||||
"old = '''PROBE=\"$PUBLIC_URL\"\n"
|
||||
"CODE=$(curl -s -o /dev/null -w '%%{http_code}' --max-time \"$CHECK_TIMEOUT\" \"$PROBE/v1/health\" 2>/dev/null)\n"
|
||||
"if [ \"$CODE\" != \"200\" ] && [ -n \"$FALLBACK_URL\" ]; then\n"
|
||||
" PROBE=\"$FALLBACK_URL\"\n"
|
||||
" CODE=$(curl -s -o /dev/null -w '%%{http_code}' --max-time \"$CHECK_TIMEOUT\" \"$PROBE/v1/health\" 2>/dev/null)\n"
|
||||
"fi'''\n"
|
||||
"\n"
|
||||
"new = '''# -L 跟跳转：nginx 那边 http 会 301 到 https，\n"
|
||||
"# 不跟跳转的话拿到 301 会被误判成故障（这坑踩过一次）。\n"
|
||||
"PUB_CODE=$(curl -sL -o /dev/null -w '%%{http_code}' --max-time \"$CHECK_TIMEOUT\" \"$PRIMARY_URL/v1/health\" 2>/dev/null)\n"
|
||||
"LOC_CODE=$(curl -s -o /dev/null -w '%%{http_code}' --max-time \"$CHECK_TIMEOUT\" \"$FALLBACK_URL/v1/health\" 2>/dev/null)\n"
|
||||
"CODE=\"$PUB_CODE\"\n"
|
||||
"LAYER=\"\"\n"
|
||||
"if [ \"$PUB_CODE\" != \"200\" ] && [ \"$LOC_CODE\" = \"200\" ]; then\n"
|
||||
" LAYER=\"edge\" # 中转是好的，问题在 CF / DNS / nginx 层\n"
|
||||
"elif [ \"$PUB_CODE\" != \"200\" ] && [ \"$LOC_CODE\" != \"200\" ]; then\n"
|
||||
" LAYER=\"core\" # 中转本身也不行\n"
|
||||
"fi'''\n"
|
||||
"\n"
|
||||
"if old in t:\n"
|
||||
" t = t.replace(old, new, 1)\n"
|
||||
" print(' ok 健康检查替换完成')\n"
|
||||
"else:\n"
|
||||
" print(' x 没匹配上，实际内容：')\n"
|
||||
" i = t.find('CODE=$(curl')\n"
|
||||
" print(t[max(0,i-200):i+400])\n"
|
||||
"p.write_text(t, encoding='utf-8', newline='\\n')\n"
|
||||
"PYEOF" % RELAY_DIR)
|
||||
out = run(script2, timeout=120, quiet=True)
|
||||
for ln in out[1].strip().splitlines():
|
||||
print(" " + ln)
|
||||
|
||||
print()
|
||||
print(" ── 3. 语法检查 + 跑一次 ──")
|
||||
out = run("bash -n %s/monitor.sh && echo ' 语法 OK'; "
|
||||
"printf 'fails=0\\nlast_rescue=0\\n' > "
|
||||
"%s/monitor_state.txt; "
|
||||
"bash %s/monitor.sh; echo ' --- 状态 ---'; "
|
||||
"cat %s/monitor_state.txt; echo ' --- 日志尾 ---'; "
|
||||
"grep -v 'Permission denied' %s/monitor.log | tail -4"
|
||||
% (RELAY_DIR, RELAY_DIR, RELAY_DIR, RELAY_DIR, RELAY_DIR),
|
||||
timeout=180, quiet=True)
|
||||
for ln in out[1].strip().splitlines():
|
||||
print(" " + ln)
|
||||
|
||||
print()
|
||||
print(" ── 4. 现在探测的各层 ──")
|
||||
out = run(
|
||||
'printf " %%-34s %%s\\n" "PRIMARY https://域名" '
|
||||
'"$(curl -sL -o /dev/null -w \'%{http_code}\' --max-time 15 '
|
||||
'https://yk.xxmxxs.top/v1/health)"; '
|
||||
'printf " %%-34s %%s\\n" "FALLBACK 127.0.0.1:13245" '
|
||||
'"$(curl -s -o /dev/null -w \'%{http_code}\' --max-time 8 '
|
||||
'http://127.0.0.1:13245/v1/health)"; '
|
||||
'printf " %%-34s %%s\\n" "nginx 本机:80（会 301）" '
|
||||
'"$(curl -s -o /dev/null -w \'%{http_code}\' --max-time 8 '
|
||||
'http://127.0.0.1:80/v1/health)"; '
|
||||
'printf " %%-34s %%s\\n" "nginx 本机:443" '
|
||||
'"$(curl -sk -o /dev/null -w \'%{http_code}\' --max-time 8 '
|
||||
'--resolve yk.xxmxxs.top:443:127.0.0.1 '
|
||||
'https://yk.xxmxxs.top/v1/health)"',
|
||||
timeout=180, quiet=True)
|
||||
for ln in out[1].strip().splitlines():
|
||||
print(ln)
|
||||
return 0
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
sys.exit(main())
|
||||
Reference in New Issue
Block a user