SRE体系建设指南
sre体系建设指南
一、团队建设
指导思想
拥抱风险：容忍风险、度量风险、管理风险、研究当前高频故障原因和主要风险；演进式、SLO目标内允许故障
工作准则：专注改进设计、专注研发工作；把可靠性工作纳入软件各阶段、简单化、减少琐事
工作方法
Google Sre具体方法：紧急响应、有效告警、Oncall轮值；事后总结、故障管理、有效排障；应对过载、测试可靠性、故障跟踪；可靠性管理、处理连锁故障
Mikey金字塔：容量规划、开发工作、用户体验、监控、事故响应、事后回顾、测试与发布；沟通与协作
工作目标
确定可靠性工作对象：强依赖服务、核心系统/服务、核心业务
目标与度量：确定合理目标、服务质量目标、SLI/SLO/SLA、目标一致性（上下游强依赖关系的服务目标对齐）、Error Budget错误预算
代码质量：回归策略、测试有效、研发过程、性能压力测试、联调测试
软件可靠性-长期关注研发工作
业务架构：强弱依赖、核心链路、用户旅程、资损防控、攻防演练；数据对账（隔天对账、实时对账）
应用架构：微服务架构、分层架构、可熔断可降级、调用方式
系统架构：资源隔离、服务隔离、业务隔离
基础设施架构：双活、主备冗余、反亲和、流量调度、两地三中心
标准规范
优秀实践、标准作业流程SOP、组织红线、通用标准
SRE文化
自驱、精进、担当、开放、协作、共享（团队文化关键字）；业界倡导/宣言(研发效能宣言、敏捷宣言、DevOps八荣八耻)
人才培养
岗位互备、技术分享、学习小组、新人辅导
二、工具链打造
可观测性
包含内容：聚合度量指标、链路追踪（StackTrace、RUM、NPM、APM）、事件日志
优秀实践：黄金指标/北极星指标(业务核心指标识别)、监控大盘、灭火图
能力要求：故障发现、定界与定位、故障诊断
全链路压测
流量回放压测、单链路压测、单机或单应用压测
故障修复
故障报告、协同平台、预案平台
持续交付
持续测试/验证、持续部署、持续集成、持续构建
混沌工程
Chaosmesh、ChaosBlade
Aiops
舆情监控、自动决策、根因推荐、无阈值告警、智能告警
三、工作流程
可靠性变更&发布
变更管理：自动化发布、有计划地发布、变更记录、变更通知、变更审批、变更终止、变更回滚
发布策略：灰度发布、蓝绿部署、金丝雀部署、A/B Test
变更要求：可灰度、可监控、可终止、可回滚
巡检：系统巡检、功能巡检、人工巡检
立体式监控覆盖：APM、NPM、RUM、应用日志、服务端指标、服务端调用链路
拨测：链路质量：连通性、路由、时延、丢包、DNS；服务质量：页面性能、API性能、文件下载
通知：报警、巡检通知、大盘分析
应急事件通知
开关预案：风险盘点、预案梳理、预演推演、预案制定、预案演练
故障干预：隔离、回滚、降级、熔断、重启
事故管理
应急协同：故障通知与升级、故障追踪、应急响应机制（WarRoom/电话会议、现场指挥、职责分工、进度信息披露）
故障治理
故障复盘：原则：五条归零（过程清楚、机理清楚、影响清楚、整改到位、举一反三）；复盘过程（回顾、分析、总结、行动）流程闭环
故障判定：故障定级、故障定性、故障定责（故障报告、故障评审、定期回顾）
容量管理
资源部署：混合云、多云、Buffer池
资源评估：性能压测、历史运营数据挖掘、流量预估（节假日、重大运营活动）
弹性调度：无状态化、自动扩缩容
效率与性能
性能分析与优化、在质量达标情况下效率优先
持续运维/持续运营
稳定性运营报告：巡检日报、运营周报、运营月报、季度/年度总结
重大活动保障：重保活动评估、容量评估/工作负载评估、资源保障、安全防护、风险梳理及预案、后勤保障、OnCall值守
接手运维新工作：全新项目启动、中途接管现有项目、团队内新人接手运维、重点项目-准备SRE覆盖
必备知识库
云原生技术
云原生DevOps：CI持续集成、CD持续部署、容器编排、弹性伸缩
云原生架构：Service Mesh、MicroServices、IAC、Serverless
容器技术：容器网络、容器存储、资源隔离（CPU、内存、磁盘、网络）
公有云：常用云产品、多云差异、多云协同、云工具链建设（基于公有云提供的API）
应用软件高可用
架构模式：SOA、MicroService、ServiceMesh
微服务通信：通信协议、异步通信、分布式事务
集群容错设计：容错设计、过载保护、超时重试
服务治理：服务发现、负载均衡
应用软件框架与可靠性
开源框架：Springcloud、MVC、GIN、Dubbo
数据库与中间库可靠性
数据库：关系型数据库、NOSQL、中间件（队列、缓存）
软件基础设施可靠性
发布流水线、研发环境与可靠性、数据流水线、周期任务系统、分布式锁系统、共识系统、DNS、负载均衡、监控与报警系统、统一元数据（资源元数据、业务元数据）
Linux技术与可靠性
linux基础操作、系统及应用性能调优、脚本编程能力、常见高可用技术和方案、系统及应用安全加固、Linux内核调优
服务器可靠性
计算服务器、存储（对象存储、文件存储、块存储）、网络
网络可靠性
核心网、接入网、专线网、骨干网、无线网
数据中心可靠性
网络、电力、制冷、消防、IT设备
运维安全与可靠性
DevSecOps、代码静态扫描、入侵检测、AntiDDOS