【银河麒麟高级服务器操作系统实际案例分享】数据库资源重启现象分析及处理全过程
更多银河麒麟操作系统产品及技术讨论，欢迎加入银河麒麟操作系统官方论坛
https://forum.kylinos.cn
了解更多银河麒麟操作系统全新产品，请点击访问
麒麟软件产品专区：https://product.kylinos.cn
开发者专区：https://developer.kylinos.cn
文档中心：https://document.kylinos.cn
服务器环境以及配置
| 处理器： | Hygon C86 7285 32-core Processor |
| 整机类型/架构： | x86_64 |
【内核版本】
4.19.90-23.6
【OS镜像版本】
银河麒麟高级服务器操作系统 Kylin-Server-V10-SP3-General-Release-2303-x86_64
【HA版本】
银河麒麟高可用 Kylin-HA-10-SP2-Release-Build10-20211124-x86_64-2021-11-25
【第三方软件】
现象描述
集群中pgsql资源重新启动。
现象分析
心跳连接及vip资源monitor超时
分析日志信息，在Nov 11 13:28:22时集群心跳发现无法连接的问题，之后立即恢复：
20秒之后，集群vip1_sims资源monitor超时：
vip1_sims的monitor超时时间设置是20秒，所以在心跳出现问题的时间vip1资源正好执行监控操作并无法按时返回数据，说明此时系统的网络或者负载可能会有问题，导致HA集群无法及时获取数据。
脚本监控函数分析
vip1_sims资源使用的是IPaddr2脚本实现，该脚本在执行monitor的时候，主要判断和执行方式如下：
- 判断函数执行所需要的系统命令ip是否存在
- 通过uname命令判断当前系统是否为Linux系统
- 识别当前配置的ip地址的family和scope，将给定的netmask转换成对应的数字
- 判断是否给定的了网卡参数，如果给定，则通过ip命令 ip -o -f inet route list match ip/netmask scope link |grep “dev nic”命令查找并确认网络信息；
- 判断是否能够正确找到nic和netmask；
- 使用命令ip -o -f inet addr show |grep ip，判断当前ip是否存在；
- 通过/usr/libexec/heartbeat/findif命令获取当前环境变量中的nic netmask brdcast等信息；
- 通过ip link show nic命令判断是否为infiniband
- 判断是否配置了nic参数
- 根据配置的ip和netmask，使用ip -o -f inet addr show命令判断ip和nic是否存在；
如果不存在则monitor返回错误信息；如果存在则monitor返回正常。
如果在设置的超时时间内monitor没有任何返回值，则会报超时time out错误。
组资源先后关系
下图是资源配置中组资源中资源先后关系：
HA组资源是有顺序和依赖要求的，即启动的时候从第一个资源到最后一个资源顺序启动，停止的时候从最后一个资源到第一个资源顺序停止。如果有资源出现问题，则此资源后面的资源是无法启动的。所以当vip1_sims资源监控出现问题要求资源restart的时候，该资源后面的所有资源也要求随之重启，所以导致数据库资源pg_sims资源重启。
小结
如上，由于问题时间的vip1_sims资源出现monitor超时故障，导致组内该资源之后的所有资源必须随之尝试重新启动，所以导致数据库资源pg_sims重启。
vip1_sims出现monitor超时故障的原因，由于日志方面无法获取相关内容，所以猜测可能与当时即时的网络条件或者负载有关系，暂时无法确定原因。进一步的分析可以部署更细粒度的监控脚本获取系统及网络情况。
后续建议方案
- 通过分析集群心跳配置发现， 心跳网络和业务网络共用。如果业务负载较高，会影响集群心跳，建议分开。同时建议将HA集群的token设置为6000，降低集群心跳的敏感度。
- 由于当前的日志无法判断超时原因，建议给需要监控的资源增加trace_ra配置，监控记录脚本执行过程，方便排查问题原因。由于每次执行会产生一个文件， 需要定期清理，防止占用过多的空间。
- 如果vip资源和数据库资源不存在强依赖关系，建议可以将vip资源放在组的最后面，以减少其对其他资源的影响。