yumoqing
fa257f36b1
依据现有实现补全「自动识别故障 → 人工确认切换 → 切回」运维核心闭环。 触发模式 1A+2B+3A：VIP 浮动 + 半自动 + 切前隔离原主（防脑裂）。 【表结构】 clusters 加 vip/failover_mode；node_commands 加 command_type 新增 switchover_steps（切换步骤级审计） 【Agent 六动作（脚本化、幂等、结构化返回）】 fence(停MySQL+摘VIP)/unfence(恢复)/promote_master(STOP+RESET SLAVE) revert_promote(降回从库)/flip_sync(反转同步)/verify(可写+VIP校验) 【切换编排器 foms/failover.py】 六步状态机：precheck→fence→promote→flip_sync→verify→converge 失败 → 已完成步骤逆向回滚 → switchover_logs=failed 回滚也失败 → rollback_failed + 最高级告警冒泡人工 防脑裂不变量：fence 先于 promote，fence 失败硬中止绝不 promote 【健康判定器】 后台循环（默认5s）扫 active 集群，心跳超时/复制异常判定 防抖：连续 failover_threshold 次命中才判故障（防瞬时抖动误判） 半自动：只告警（写 switchover_logs + hostwatch_events）不切，等人确认 【切回 + 回滚语义】 trigger_switchback 反向六步；回滚用 unfence/revert_promote/反转/换回 【部署文档】 docs/deploy-operations.md：架构/三机部署/keepalived/Agent 环境变量/ 日常运维/失败语义/防脑裂/已知限制 验证：语法全过；编排器↔Agent 六命令类型对齐；六步顺序正确； 防脑裂不变量成立（fence idx=1 < promote idx=2）；注册链完整。
FOMS — Failover Management System
主备机切换管理系统。运行在管理中心 C 上，管理主机 A 和备机 B 之间的：
- MySQL 主从复制 — 实时数据同步
- 文件目录同步 — rsync 定期同步
- 健康监控 — 节点心跳 + 复制状态
- 故障切换 — 自动检测 A 故障 → 切换到 B
- 故障切回 — A 修复后 → 切回 A
架构
管理中心 C (FOMS Web App)
│
├── 主机 A ←──MySQL复制/rsync──→ 备机 B
│
└── Agent 守护进程 (部署在 A & B)
快速开始
# 1. 构建
./build.sh
# 2. 配置 .env
vim .env
# 3. 初始化数据库 (手动执行 models/mysql.ddl.sql)
mysql -u root < models/mysql.ddl.sql
# 4. 注册RBAC权限
cd py3/bin && python ../../scripts/load_path.py
# 5. 启动
./start.sh
模块
| 模块 | 路径 | 说明 |
|---|---|---|
| 集群管理 | /clusters_list | 配置主备集群 |
| 节点管理 | /nodes_list | 注册A/B节点(SSH信息) |
| 数据库同步 | /sync_databases_list | MySQL主从复制配置 |
| 文件同步 | /sync_directories_list | rsync目录同步配置 |
Agent部署
在主机A和备机B上：
# 配置环境变量
export FOMS_MANAGEMENT_URL=http://C的IP:9080
export FOMS_NODE_ID=<节点ID>
export FOMS_AGENT_TOKEN=<安全令牌>
# 运行Agent
python3 scripts/foms-agent.py