当前位置：首页 > article >正文

利用rsync备份全网服务器数据

article 2025/1/17 11:37:09

一、项目描述

某公司里有一台Web服务器，里面的数据很重要，但是如果硬盘坏了数据就会丢失，现在领导要求把数据做备份，这样Web服务器数据丢失在可以进行恢复，要求如下：

1、备份要求

每天晚上00点整在Web服务器上打包备份系统配置文件、网站程序目录及访问日志并通过rsync命令推送到Rsync备份服务器上备份保留。

2、备份思路

可以是先在本地按日期打包，然后再推送到Rsync备份服务器上；NFS存储服务器和Web服务器在实际工作中就是运维主要管理的全部服务器。

二、环境说明

需要三台服务器主机，其主机信息如下：

服务器说明	主机名称	IP地址
Nginx web服务器	openEuler-1	192.168.121.11
NFS存储服务器	openEuler-2	192.168.121.12
Rsync备份服务器	openEuler-3	192.168.121.12

三、项目备份需求

（1）所有服务器的备份目录必须都为/backup。
（2）要备份的系统配置文件包括但不限于：

定时任务服务的配置文件（/var/spool/cron/root）（适合Web和NFS服务器）。
开机自启动的配置文件（/etc/rc.local）（适合Web和NFS服务器）。
日常脚本的目录（/server/script）。

（3）Web服务器站点目录假定为/var/www/html/，如果没有，可以先模拟创建。
（4）Web服务器访问日志路径假定为/app/logs，如果没有，可以先模拟创建。
（5）Web服务器本地保留打包后的7天备份数据即可（本地留存不能多于7天，因为数据太多硬盘会满）。
（6）备份服务器BACKUP上，保留最近7天所有备份数据，保留6个月内每周一的所有数据副本。
（7）备份服务器上，要按照备份数据服务器内网IP为目录保存备份，备份的文件按照时间、名称保存。
（8）需要确保备份的数据尽量完整准确，在备份服务器上对备份的数据是否完整进行检查。
（9）备份服务器BACKUP上，每天早晨8:00把备份成功或失败结果信息发送到系统管理员邮箱里。

服务器说明	备份目录	目录说明	备注
all server	/backup	备份目录	统一服务器本地备份目录，便于管理
all server	/var/spool/cron/root	定时任务服务配置文件
all server	/etc/rc.local	开机自启动配置文件
all server	/server/script	日常脚本目录	统一服务器本地脚本目录，便于管理
Web server	/var/www/html	web服务器站点目录	mkdir -p /var/www/html
Web server	/app/logs	web服务器访问日志路径	mkdir -p /app/logs

四、服务器的部署

（1）Rsync备份服务器搭建部署（openEuler-3）

rsync服务器搭建部署。
开发脚本实现校验、删除、报警。
配置实时任务每天6点实时执行。

（2）Web服务器搭建部署（openEuler-1）

验证Rsync服务能否推送成功。
开发脚本实现打包备份、推送、校验、删除。
配置定时任务每天0点定时推送。

（3）NFS存储服务器搭建部署（openEuler-2）

验证Rsync服务能否推送成功。
开发脚本实现打包备份、推送、校验、删除。
配置定时任务每天0点定时推送。

五、项目实施

1、在Rsync备份服务器上部署Rsync服务

# 安装rsync
[root@openEuler-3 ~]# yum install -y rsync

# 配置文件
[root@openEuler-3 ~]# vim /etc/rsyncd.conf
[root@openEuler-3 ~]# cat /etc/rsyncd.conf
uid = rsync
gid = rsync
use chroot = no
max connections = 200
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
fake super = yes

[backup]
        path = /backup
        ignore errors
        read only = false
        list = false
        hosts allow = 192.168.121.0/24
        hosts deny = 0.0.0.0/32
        auth users = rsync_backup
        secrets file = /etc/rsync.password

# 创建rsync账户及共享目录并修改目录属主为rsync
[root@openEuler-3 ~]# useradd -M -s /sbin/nologin rsync
[root@openEuler-3 ~]# mkdir /backup
[root@openEuler-3 ~]# chown -R rsync /backup

# 启动服务
[root@openEuler-3 ~]# systemctl enable --now rsyncd
Created symlink /etc/systemd/system/multi-user.target.wants/rsyncd.service → /usr/lib/systemd/system/rsyncd.service.

# 创建rsync虚拟账户名和密码,并赋予密码文件600权限
[root@openEuler-3 ~]# echo "rsync_backup:123456" > /etc/rsync.password
[root@openEuler-3 ~]# chmod 600 /etc/rsync.password

解读配置文件：

uid = rsync							# 用户
gid = rsync							# 组
use chroot = no						# 程序安全设置
max connections = 200				# 客户端连接数
timeout = 300						# 超时时间
pid file = /var/run/rsyncd.pid		# 进程号文件位置
lock file = /var/run/rsync.lock		# 进程锁
log file = /var/log/rsyncd.log		# 日志文件
fake super = yes 					# 无需rsync以root身份运行，允许接受数据

[backup]
        path = /backup						# 目录
        ignore errors						# 有错误时忽略
        read only = false					# 可读可写
        list = false						# 阻止远程列表（不让通过远程方式看服务端有啥）
        hosts allow = 192.168.121.0/24		# 允许IP
        hosts deny = 0.0.0.0/32				# 禁止IP
        auth users = rsync_backup			# 虚拟用户
        secrets file = /etc/rsync.password	# 存放用户和密码的文件

2、web服务器，NFS 服务器本地打包备份脚本实现

# 安装rsync
[root@openEuler-3 ~]# yum install -y rsync


# 创建rsync密码文件，方便脚本命令直接引用,并赋予密码文件600权限
[root@openEuler-3 ~]# echo "123456" > /etc/rsync.password
[root@openEuler-3 ~]# chmod 600 /etc/rsync.password


# 模拟数据创建
[root@openEuler-1 script]# touch /var/www/html/{1..3}.txt
[root@openEuler-1 script]# mkdir -p /app/logs
[root@openEuler-1 script]# touch /app/logs/{a..c}.log


# 编写备份脚本
[root@openEuler-1 script]# vim backup.sh
[root@openEuler-1 script]# cat backup.sh
#!/bin/bash
#########################
#File name:backup.sh
#Email:obboda@163.com
#Created time:2025-01-16 21:07:58
#Description:
#########################

Date=$(date +%F)
Host_IP=$(ifconfig ens160 | awk '/inet /{print $2}')
Backup_Dir="/backup/"
Backup_Server_IP=192.168.121.13

# 创建指定目录
[ ! -d $Backup_Dir/$Host_IP ] && mkdir -p $Backup_Dir/$Host_IP

# 按要求打包备份所有本地重要文件
cd / &&\
tar cf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz var/spool/cron/root &&\
tar rf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz etc/rc.d/rc.local &&\
tar rf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz server/script/ &&\
tar zcf $Backup_Dir$Host_IP/www_${Date}_tar.gz var/www/html/ &&\
tar zcf $Backup_Dir$Host_IP/app_logs_${Date}_tar.gz app/logs/ &&\
# 提示：在NFS服务器客户端上不用编写压缩Web服务器的程序与日志目录

# 给所有备份的压缩文件建立指纹，放入指纹库flag，后面会验证完整性
find ${Backup_Dir:-/tmp} -type f -name "*${Date}_tar.gz" |xargs md5sum >$Backup_Dir/$Host_IP/${Date}.flag

# 把备份推送到备份服务器
rsync -az $Backup_Dir rsync_backup@${Backup_Server_IP}::backup --password-file=/etc/rsync.password

# 删除7天以前的所有本地备份数据
find ${Backup_Dir:-/tmp} -type f -name "*.tar.gz" -a -name "*flag*" -mtime +7|xargs rm -f

3、配置定时任务

# web服务器（nfs服务器）：定时每天0：00执行备份脚本
[root@openEuler-1 script]# crontab -e
crontab: installing new crontab
[root@openEuler-1 script]# crontab -l
00 00 * * * /bin/sh /server/script/backup.sh &> /dev/null


# 备份服务器：编辑服务端删除脚本文件
[root@openEuler-3 ~]# mkdir -p /server/script
[root@openEuler-3 ~]# cd /server/script/
[root@openEuler-3 script]# vim del_bak_data.sh
[root@openEuler-3 script]# cat del_bak_data.sh
#!/bin/bash

Backup_Dir="/backup/"

#删除7天前的压缩包和flag文件
find ${Backup_Dir:-/tmp} -type f  -name "*tar.gz*" -name "*flag*" -mtime +7|xargs rm -f


# 备份服务器：配置定时任务
[root@openEuler-3 script]# crontab -e
crontab: installing new crontab
[root@openEuler-3 script]# crontab -l
00 00 * * * /bin/sh /server/script/del_bak_data.sh &>/dev/null

4、数据传输完整性验证与监控告警

# 备份服务器：针对备份时的md5指纹数据，利用MD5命令进行验证，完成数据传输过程完整性验证.
[root@openEuler-3 script]# vim send_mail.sh
[root@openEuler-3 script]# cat send_mail.sh
#!/bin/bash
Date=$(date +%F)
Backup_Dir="/backup/"
Check_Log="/tmp/bak.log_$(date +%F)"
Admin_Mail=obboda@163.com

find $Backup_Dir -type f -name "*.flag"|xargs md5sum -c >> $Check_Log


if [ -s "$Check_Log" ]
then
    mail -s "$Date backup data info" $Admin_Mail <$Check_Log
else
    echo "$Date backup data error,pls check it." >$Check_Log
    mail -s "$Date backup data info" $Admin_Mail <$Check_Log
fi

cp $Check_Log{,.ori} && >$Check_Log

5、配置mail使用外部SMTP发邮件

# 安装mailx
[root@openEuler-3 script]# yum install -y mailx

# 编辑/etc/mail.rc配置文件（在最后一行加入）
[root@openEuler-3 script]# vim /etc/mail.rc
[root@openEuler-3 script]# tail -n5 /etc/mail.rc
set from=obboda@163.com
set smtp=smtp.163.com
set smtp-auth-user=obboda@163.com
set smtp-auth-password=********        # 这里填写自己邮箱的授权码
set smtp-auth=login


# 测试发送邮件
[root@openEuler-3 script]# echo "how are u?" | mail -s "HELLO!" obboda@163.com

6、最后测试

# 手动执行脚本进行测试
[root@openEuler-1 script]# bash backup.sh

# 查看备份
[root@openEuler-3 script]# tree /backup/192.168.121.11/
/backup/192.168.121.11/
├── 2025-01-16.flag
├── app_logs_2025-01-16_tar.gz
├── sys_file_bak_2025-01-16_tar.gz
└── www_2025-01-16_tar.gz

# 查看校验结果
[root@openEuler-3 script]# bash send_mail.sh

校验结果：