Ceph集群维护相关操作

1、通过套接字进行单机管理

node节点：

[root@ceph-node1 ~]# ll /var/run/ceph/
total 0
drwxrwx--- 2 ceph ceph 140 Aug 19 08:46 ./
drwxr-xr-x 25 root root 840 Aug 19 11:26 ../
srwxr-xr-x 1 ceph ceph 0 Aug 19 08:46 ceph-osd.0.asok=
srwxr-xr-x 1 ceph ceph 0 Aug 19 08:46 ceph-osd.1.asok=
srwxr-xr-x 1 ceph ceph 0 Aug 19 08:46 ceph-osd.2.asok=
srwxr-xr-x 1 ceph ceph 0 Aug 19 08:46 ceph-osd.3.asok=
srwxr-xr-x 1 ceph ceph 0 Aug 19 08:46 ceph-osd.4.asok=

mon节点：

root@ceph-mon1:~# ll /var/run/ceph/
total 0
drwxrwx--- 2 ceph ceph 60 Aug 7 11:41 ./
drwxr-xr-x 25 root root 880 Aug 7 13:10 ../
srwxr-xr-x 1 ceph ceph 0 Aug 7 11:41 ceph-mon.ceph-mon1.asok=
#可在 node 节点或者 mon 节点通过 ceph 命令进行单机管理本机的 mon 或者 osd 服务：
#先将 admin 认证文件同步到 mon 或者 node 节点：
cephadmin@ceph-deploy:/home/ceph/ceph-cluster$scp ceph.client.admin.keyring
root@172.31.6.101:/etc/ceph
[root@ceph-node1 ~]# ceph --admin-socket /var/run/ceph/ceph-osd.0.asok --help
root@ceph-node1:~# ceph --admin-socket /var/run/ceph/ceph-osd.0.asok pg stat

#帮助信息：
ceph-mon1~]# ceph --admin-daemon /var/run/ceph/ceph-mon.ceph-mon1.asok help
#mon 状态：
ceph-mon1~]# ceph --admin-daemon /var/run/ceph/ceph-mon.ceph-mon1.asok mon_status
#查看配置信息：
ceph-mon1~]# ceph --admin-daemon /var/run/ceph/ceph-mon.ceph-mon1.asok config show

2、Ceph集群的停止和启动

重启之前，要提前设置 ceph 集群不要将 OSD 标记为 out，避免 node 节点关闭服务后被踢出
ceph 集群外：

[cephadmin@ceph-deploy ceph-cluster]$ ceph osd set noout #关闭服务前设置 noout
noout is set
[cephadmin@ceph-deploy ceph-cluster]$ ceph osd unset noout #启动服务后取消 noout
noout is unset

2.1 关闭顺序

#关闭服务前设置 noout
关闭存储客户端停止读写数据
如果使用了 RGW，关闭 RGW     systemctl stop xxxx
关闭 cephfs 元数据服务       systemctl stop ceph-mdsxxxx
关闭 ceph OSD			   systemctl stop ceph-osdxxxx
关闭 ceph manager		   systemctl stop ceph-mgrxxxx
关闭 ceph monitor		   systemctl stop ceph-monxxxx

2.2 启动顺序

启动 ceph monitor
启动 ceph manager
启动 ceph OSD
启动 cephfs 元数据服务
启动 RGW
启动存储客户端
#启动服务后取消 noout-->ceph osd unset noout

3、添加服务器

1.系统优化、加仓库源
2.ceph-deploy install --release pacific ceph-nodeX
3.列出目的磁盘、擦除磁盘
ceph-deploy disk zap ceph-nodex /dev/sdx
4.添加 osd：
sudo ceph-deploy osd create ceph-nodex --data /dev/sdx

4、删除osd或服务器

1 把 osd 踢出集群
ceph osd out 1
2.等一段时间数据副本同步
3.停止 osd.x 进程
4.删除 osd
ceph osd rm 1

删除服务器

停止服务器之前要把服务器的 OSD 先停止并从 ceph 集群删除

1 把 osd 踢出集群
ceph osd out 1
2.等一段时间
3.停止 osd.x 进程
4.删除 osd
ceph osd rm 1
5.当前主机的其它磁盘重复以上操作
6.OSD 全部操作完成后下线主机
7.ceph osd crush rm ceph-node1 #从 crush 删除 ceph-node1

5、Ceph配置文件

Ceph 的主配置文件是/etc/ceph/ceph.conf，ceph 服务在启动时会检查 cep.conf，分号;和#在
配置文件中都是注释，ceph.conf 主要由以下配置段组成：

[global] #全局配置
[osd] #osd 专用配置，可以使用 osd.N，来表示某一个 OSD 专用配置，N 为 osd 的编号，如0、2、1 等。
[mon] #mon 专用配置，也可以使用 mon.A 来为某一个 monitor 节点做专用配置，其中 A 为该节点的名称，ceph-monitor-2、ceph-monitor-1 等，使用命令 ceph mon dump 可以获取节点的名称
[client] #客户端专用配置。

ceph文件的加载顺序

$CEPH_CONF 环境变量
-c 指定的位置
/etc/ceph/ceph.conf 
~/.ceph/ceph.conf
./ceph.conf