支付接口 · 5xx 8.7%
支付接口 · 5xx 8.7%
等待回滚确认
- 12 条告警已归并为 1 个事件
- 错误率在 v2.14.3 发布后升高
- 数据库与容量问题已排除
- 回滚计划待值班负责人确认
收到告警后，先回答三个问题
用户是否真的受到影响
核对支付成功率、受影响地区与租户，区分短时抖动和持续故障。
最近发生了什么变化
对齐发布、配置、依赖和权限变更，找出与异常时间吻合的候选原因。
哪项恢复动作风险最低
先完成只读检查，再比较重启、扩容与回滚的影响范围和撤销路径。
以支付接口错误率事件为例
Hast 将真实值班流程拆为确认影响、验证原因和恢复服务三步，每一步都保留证据与负责人。
02:14 — 确认用户影响
12 条相关告警归并为一个 P1 事件。
- 核对支付成功率 — 从 99.4% 降至 91.3%。
- 确认影响范围 — 华东地区三个大客户受影响。
- 排除告警风暴 — 下游告警均由支付接口触发。
- 通知值班负责人 — 事件频道与会议已创建。
02:21 — 定位发布变化
异常开始时间与 v2.14.3 发布高度一致。
- 比较发布前后错误 — 新版本出现空指针异常。
- 检查数据库状态 — 连接数与延迟正常。
- 检查实例容量 — CPU 与内存无明显瓶颈。
- 确认回滚条件 — 数据结构未变更，可恢复到 v2.14.2。
02:32 — 回滚并验证恢复
值班负责人批准后执行分批回滚。
- 先回滚 10% 实例 — 错误率开始下降。
- 扩大回滚范围 — 5xx 恢复至正常区间。
- 观察关键指标 — 支付成功率连续 15 分钟稳定。
- 完成交接记录 — 保留时间线、结果与后续行动。
把事件证据放进同一条时间线
Hast 只读取团队授权的系统，并将查询、凭据与生产写权限分开管理。
运行与工程变更
关联运行状态、代码、任务与服务知识。
Cloudflare
GitHub
Linear
Notion
事件沟通与值班协作
同步事件频道、邮件、会议与值班安排。
Slack
Gmail
Google Calendar
Google Meet
证据与访问控制
读取运行手册、事件表格和受控凭据。
1Password
Google Drive
Google Docs
Google Sheets
生产操作必须逐级授权
Hast 默认执行只读诊断；可逆操作按运行手册和阈值执行，高风险变更始终由值班负责人批准。
只读诊断可自动进行
查询日志、指标、发布记录和服务状态，不修改生产资源。
可逆操作必须符合手册
限定实例、明确观察窗口，并在异常时立即停止或撤销。
高风险操作保留人工决定
切流、数据修复、安全响应和跨区域变更必须由负责人批准。
按生产影响控制操作权限
自动执行
无需写权限告警归并、只读查询、状态核对和事件记录
确认后执行
按手册处置单实例重启、限定扩容和已验证回滚
仅人工执行
负责人批准切流、数据修复、安全响应和跨区域变更
先选择一种高频值班事件
从信号明确、已有运行手册且恢复动作可撤销的事件开始，用真实值班结果验证效果。
发布后错误率升高
核对发布变化、异常日志与回滚条件，衡量定位和恢复时间。
任务队列持续堆积
检查消费者状态、处理延迟和积压趋势，准备扩容或重跑方案。
单个服务延迟突增
关联依赖、地区和租户影响，先执行只读诊断并准备受控恢复。