【开源社区】ELK 磁盘异常占用解决及优化实践
1、问题及场景描述
本文主要讨论在 CentOS环境下基于 rpm 包部署 ELK 系统磁盘异常占用的问题解析和解决方案。
生产问题描述：以下问题现实场景基于ELK体系下，ES服务的磁盘占用问题解析。默认情况下，基于 RPM 安装的 Elasticsearch 服务的安装位置位于/usr.share/elasticsearch/目录下，配置文件位于 /etc/elasticsearch/ ，在此前提下可能会遇到如下问题
- 集群出现分片无法分配的情况
- 通过 explain API 查询未分配原因为磁盘占用率超过阈值
- 在 shell 下执行 free 等命令发现磁盘剩余空间充足
2、 问题分析
这是可能因为操作系统挂载了多个分区或者磁盘，而使用使用 RPM 包安装的服务可能位于其中较小的分区。本文主要讨论当问题已经产生，如何解决的问题。
3、排查问题
- 首先根据 explain 返回的结果判断是否是磁盘占用率过高导致，如果是磁盘占用问题可按照以下步骤尝试解决
1：查看所有挂载的磁盘
sudo fdisk -l
可以看到一共当前一共两个分区，分别是：
- centos-root
- centos-swap
每个人情况可能有所不同
2：确认 ES 的安装目录位于哪个分区
查看当前目录所挂载的磁盘的占用情况，使用 rpm 包安装的 Elasticsearch，默认的安装目录在/usr/share/elasticsearch/ 如果由于系统版本不同或者手动修改了安装目录，可以打开 /usr/lib/systemd/system/elasticsearch.service 查看 ES 的工作目录
使用以下命令输出指定目录位于哪个分区
df -h /usr/share/elasticsearch/
通过结果可以看出 ES 的安装目录所在的分区为 centos-root，并且可以看到磁盘的占用情况
亦可使用下面指令辅助排查问题
- 看当前指定目录的磁盘占用大小，不递归查看子目录
du -sh /home/elastic - 递归查指定目录及子目录的磁盘占用情况
du -h /home/elastic
3：如何将 ES 迁移至其他工作目录
戳：