当前位置：首页 > article >正文

rsync搭建全网备份

article 2024/11/15 5:06:26

rsync搭建全网备份

- 1. 总体概述
- - 1.1 目标
  - 1.2 简易指导图
  - 1.3 涉及工具或命令
  - 1.4 环境
- 2. 实施
- - 2.1 配置备份服务器
  - 2.2 备份文件准备
  - 2.3 整合命令
  - 2.4 扩展功能

在这里插入图片描述

1. 总体概述

1.1 目标

本次搭建目标：

每天定时把服务器数据备份到备份服务器
备份完成后进行校验
把过期数据删除（普通服务器数据保留7天，备份服务器数据保留1年）
完成后邮件通知

1.2 简易指导图

在这里插入图片描述

1.3 涉及工具或命令

rsysnc：备份工具，守护进程模式
cron：定时任务
md5sum：MD5校验工具
mailx：邮件
tar、find、date等等

1.4 环境

服务器	ip	系统版本	说明
backup-svr-01	192.168.202.128	CentOS Linux release 7.9.2009 (Core)	备份服务器
data-svr-01	192.168.202.129	CentOS Linux release 7.9.2009 (Core)	数据服务器

2. 实施

在每个步骤中，会把具体的需求细化分解

2.1 配置备份服务器

[root@backup-svr-01 ~]# chown rsync.rsync /backup/
[root@backup-svr-01 ~]# ll /backup/ -d
drwxr-xr-x 2 rsync rsync 6 Aug 29 16:39 /backup/

创建rsync进程使用的用户

[root@backup-svr-01 ~]# useradd -s /sbin/nologin -M rsync
[root@backup-svr-01 ~]# id rsync
uid=1003(rsync) gid=1004(rsync) groups=1004(rsync)

客户端连到备份服务器用rsync用户访问权限访问数据，这个用户只提供访问权限，所以不需要登录shell

创建客户端访问备份服务器的账户

[root@backup-svr-01 ~]# echo "rsync_bak_01:rsync" > /etc/rsync.passwd
[root@backup-svr-01 ~]# cat /etc/rsync.passwd
rsync_bak_01:rsync
[root@backup-svr-01 ~]# chmod 400 /etc/rsync.passwd
[root@backup-svr-01 ~]# ll /etc/rsync.passwd
-r-------- 1 root root 19 Aug 29 16:51 /etc/rsync.passwd

编译rsync的配置文件

没有安装rsync可以通过yum install -y rsync安装

[root@backup-svr-01 ~]# cat /etc/rsyncd.conf
# /etc/rsyncd: configuration file for rsync daemon mode

uid = rsync
gid = rsync
use chroot = no
max connections = 4
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
# exclude = lost+found/
# transfer logging = yes
timeout = 900
# ignore nonreadable = yes
# dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
fake super = yes
[backup]
path = /backup/						#备份到服务器的目录
ignore errors
read only = false
list = false
hosts allow = 192.168.202.0/24		#允许的IP范围
hosts deny = 0.0.0.0/32				#其他IP都禁止
auth users = rsync_bak_01
secrets file = /etc/rsync.passwd

配置完成后重启rsyncd服务

[root@backup-svr-01 ~]# systemctl restart rsyncd

测试rsync

首先在客户端配置密码文件

[root@data-svr-01 ~]# cat /etc/rsync.passwd
rsync

传输测试

[root@data-svr-01 ~]# rsync -avz /etc/hosts rsync_bak_01@192.168.202.128::backup --password-file=/etc/rsync.passwd
sending incremental file list
hosts

sent 187 bytes  received 43 bytes  153.33 bytes/sec
total size is 254  speedup is 1.10

[root@backup-svr-01 ~]# ll /backup/
total 4
-rw-r--r-- 1 rsync rsync 254 May  9  2023 hosts

2.2 备份文件准备

这里我们在普通服务器（客户端），把一些常用文件，重要数据等内容进行备份，视具体情况而定

本次示例中以/etc目录为例

[root@data-svr-01 ~]# mkdir /data

这里我们把备份数据存放在/data/ip目录中

mkdir -p /data/`ip a s ens33|sed -rn '3 s#^[^[:digit:]]+(.*)/.*#\1#gp'`

取IP可以有多种方式，例如：

[root@data-svr-01 ~]# hostname -I|awk '{print $1}'
192.168.202.129
[root@data-svr-01 ~]# ip a s ens33|awk 'BEGIN{FS="inet |/24"} NR==3{print $2}'
192.168.202.129

打包数据，并以时间进行区分

打包数据

[root@data-svr-01 ~]# tar zcf /data/`ip a s ens33|sed -rn  '3 s#^[^[:digit:]]+(.*)/.*#\1#gp'`/etc.`date +%F`.tar.gz /etc/
tar: Removing leading `/' from member names

查看

[root@data-svr-01 ~]# tree /data/
/data/
└── 192.168.202.129
    └── etc.2024-08-29.tar.gz

1 directory, 1 file

后面我们会把这些命令整理到脚本中，目前只是测试

2.3 整合命令

我们把前面用到的命令整合到脚本中，并进行测试

编写脚本

[root@data-svr-01 scripts]# cat etc_bak2svr.sh
#!/bin/bash
#author yurq

#set -e

. /etc/profile


ip=`ip a s ens33|sed -rn  '3 s#^[^[:digit:]]+(.*)/.*#\1#gp'`
time=`date +%F`
svr=192.168.202.128


if [ ! -d /data/$ip ];then
    mkdir -p /data/$ip
fi

tar zcf /data/$ip/etc.$time.tar.gz /etc/

if [ $? -ne 0 ];then
    echo "tar etc failed"
fi

ls /data/$ip/etc.$time.tar.gz

if [ $? -ne 0 ];then
    echo "etc.$time.tar.gz lost found."
fi

rsync -avz /data/$ip/etc.$time.tar.gz rsync_bak_01@$svr::backup --password-file=/etc/rsync.passwd


if [ $? -ne 0 ];then
    echo "rsync failed"
fi

测试脚本
客户端

[root@data-svr-01 scripts]# rm -rf /data/*
[root@data-svr-01 scripts]# sh etc_bak2svr.sh
tar: Removing leading `/' from member names
/data/192.168.202.129/etc.2024-08-29.tar.gz
sending incremental file list
etc.2024-08-29.tar.gz

sent 10,207,860 bytes  received 43 bytes  4,083,161.20 bytes/sec
total size is 10,411,198  speedup is 1.02

服务器

[root@backup-svr-01 ~]# ll /backup/
total 10168
-rw-r--r-- 1 rsync rsync 10411198 Aug 29 19:42 etc.2024-08-29.tar.gz

这并不是我们想要的，rsync我们在使用的时候，应该把ip构建的目录也带上一起传过去

修改脚本

rsync -avz /data/$ip rsync_bak_01@$svr::backup --password-file=/etc/rsync.passwd

把这行给了就可以了，注意ip后不要加/

清理环境，重新上传

[root@data-svr-01 scripts]# sh etc_bak2svr.sh
tar: Removing leading `/' from member names
/data/192.168.202.129/etc.2024-08-29.tar.gz
sending incremental file list
192.168.202.129/
192.168.202.129/etc.2024-08-29.tar.gz

sent 10,207,905 bytes  received 47 bytes  6,805,301.33 bytes/sec
total size is 10,411,198  speedup is 1.02

[root@backup-svr-01 ~]# tree /backup/
/backup/
└── 192.168.202.129
    └── etc.2024-08-29.tar.gz

1 directory, 1 file

校验文件
写到这笔者想起来还应该带上MD5校验文件，修改脚本

[root@data-svr-01 data]# cat /scripts/etc_bak2svr.sh
#!/bin/bash
#author yurq

#set -e

. /etc/profile


ip=`ip a s ens33|sed -rn  '3 s#^[^[:digit:]]+(.*)/.*#\1#gp'`
time=`date +%F`
svr=192.168.202.128


if [ ! -d /data/$ip ];then
    mkdir -p /data/$ip
fi

tar zcf /data/$ip/etc.$time.tar.gz /etc/

if [ $? -ne 0 ];then
    echo "tar etc failed"
fi

ls /data/$ip/etc.$time.tar.gz

if [ $? -ne 0 ];then
    echo "etc.$time.tar.gz lost found."
fi

rsync -avz /data/$ip rsync_bak_01@$svr::backup --password-file=/etc/rsync.passwd


if [ $? -ne 0 ];then
    echo "rsync failed"
fi

cd /data/
md5sum $ip/etc.$time.tar.gz > $ip/etc.md5

if [ $? -ne 0 ];then
    echo "make md5 failed"
fi

验证

[root@data-svr-01 data]# sh /scripts/etc_bak2svr.sh
tar: Removing leading `/' from member names
/data/192.168.202.129/etc.2024-08-29.tar.gz
sending incremental file list
192.168.202.129/
192.168.202.129/etc.2024-08-29.tar.gz
192.168.202.129/etc.md5

sent 3,513 bytes  received 19,446 bytes  4,174.36 bytes/sec
total size is 10,411,270  speedup is 453.47
[root@data-svr-01 data]# cat 192.168.202.129/etc.md5
f9a218d7b059fa412fdecef06d27f469  192.168.202.129/etc.2024-08-29.tar.gz

[root@backup-svr-01 ~]# tree /backup/
/backup/
└── 192.168.202.129
    ├── etc.2024-08-29.tar.gz
    └── etc.md5

1 directory, 2 files

下面编辑定时任务，每天晚上2点备份
首先，编辑一个任务每分钟的任务进行测试，毕竟不能等到晚上2点再验证

[root@data-svr-01 data]# cat /var/spool/cron/root
* * * * * sh /scripts/etc_bak2svr.sh &>/dev/null

[root@data-svr-01 data]# tail -f /var/log/cron
...
Aug 30 03:26:01 data-svr-01 CROND[65599]: (root) CMD (sh /scripts/etc_bak2svr.sh &>/dev/null)
...
[root@backup-svr-01 ~]# tree /backup/
/backup/
└── 192.168.202.129
    ├── etc.2024-08-29.tar.gz
    ├── etc.2024-08-30.tar.gz
    └── etc.md5

1 directory, 3 files

任务正常完成了，不过发现一个问题，md5文件把之前的冲掉了，所以需要修改脚本

md5sum $ip/etc.$time.tar.gz > $ip/etc.$time.md5

制作md5的时候加上日期

清除环境，再次验证。另外发现，md5在上传之后增加的，实际是不对的，调整执行顺序。

[root@data-svr-01 scripts]# cat etc_bak2svr.sh
#!/bin/bash
#author yurq

#set -e

. /etc/profile


ip=`ip a s ens33|sed -rn  '3 s#^[^[:digit:]]+(.*)/.*#\1#gp'`
time=`date +%F`
svr=192.168.202.128


if [ ! -d /data/$ip ];then
    mkdir -p /data/$ip
fi

tar zcf /data/$ip/etc.$time.tar.gz /etc/

if [ $? -ne 0 ];then
    echo "tar etc failed"
fi

ls /data/$ip/etc.$time.tar.gz

if [ $? -ne 0 ];then
    echo "etc.$time.tar.gz lost found."
fi


cd /data/
md5sum $ip/etc.$time.tar.gz > $ip/etc.$time.md5

if [ $? -ne 0 ];then
    echo "make md5 failed"
fi

rsync -avz /data/$ip rsync_bak_01@$svr::backup --password-file=/etc/rsync.passwd


if [ $? -ne 0 ];then
    echo "rsync failed"
fi
[root@backup-svr-01 ~]# tree /backup/
/backup/
└── 192.168.202.129
    ├── etc.2024-08-30.md5
    └── etc.2024-08-30.tar.gz

1 directory, 2 files

2.4 扩展功能

添加清除过期备份，客户端备份保留7天

[root@data-svr-01 scripts]# mkdir /tmp/etc_backup
[root@data-svr-01 scripts]# ll /home/
total 0
[root@data-svr-01 scripts]# mkdir /home/yurq
[root@data-svr-01 scripts]# cp -r /etc/* /home/yurq/
[root@data-svr-01 scripts]# find /etc/ -type f -mtime +7|xargs -I file mv file /tmp/etc_backup/
[root@data-svr-01 scripts]# ll /tmp/etc_backup/
total 22300
-rwxr-xr-x. 1 0   0    8702 Jul 28  2020 00_header
-rw-r--r--. 1 0   0     232 May  9  2023 00-keyboard.conf
-rwxr-xr-x. 1 0   0     175 May 22  2020 00-netreport
-rwxr-xr-x. 1 0   0    1043 Mar 21  2019 00_tuned
-rwxr-xr-x. 1 0   0     232 Jul 28  2020 01_users
-rwxr-xr-x. 1 0   0     392 Aug  8  2019 0anacron
...

创建目录，并拷贝/etc/内容进行测试，完成后把查找目录改为备份数据目录

find /data/ -type f -mtime +7|xargs -I file mv file /tmp/etc_backup/

把命令添加到脚本中

添加邮件通知

echo "test" |mailx -s "test" xxx@163.com

这里最好申请企业邮箱，发送太多条邮件到个人邮箱，可能被邮箱系统拦截

查看全文

http://www.kler.cn/a/293363.html

2024 年 Apifox 和 Postman 对比介绍详细版

qt QKeySequence详解

HelloMeme 上手即用教程

【JVM】关于JVM的内部原理你到底了解多少（八股文面经知识点）

HarmonyOS SDK下的实践与探索

奥威让您更懂现金流情况

【2024数模国赛赛题思路公开】国赛E题思路丨附可运行代码丨无偿自提

CRUD的最佳实践，联动前后端，包含微信小程序，API，HTML等(三)

Kubernetes--服务发布（Service、Ingress）

ubuntu24.04 为什么扬声器没有声音,但是戴上耳机有声音

Docker 配置国内镜像源

SpringCloud：构建分布式系统的利器

【全网首发】2024数学建模国赛C题39页word版成品论文【附带py+matlab双版本解题代码+可视化图表】

深度学习基础案例4--构建CNN卷积神经网络实现对猴痘病的识别(测试集准确率86.5%)

【解决bug之路】npm install node-sass（^4.14.1）连环报错解决！！！（Windows）

Python 语法糖：让编程更简单

redis的持久化RDB和AOF

Qt 实战（10）MVD | 10.1、MVD机制详解

RabbitMQ 基础架构流程数据隔离创建用户

利用深度学习实现验证码识别-2-使用Python导出ONNX模型并在Java中调用实现验证码识别

对极约束及其性质 —— 公式详细推导

ElementUI2.x El-Select组件处理使用远程查找时下拉箭头丢失问题

用 CSS 实现太阳系运行效果

XSS 漏洞检测与利用全解析：守护网络安全的关键洞察

微信小程序请求数据接口封装

rsync搭建全网备份

1. 总体概述

1.1 目标

1.2 简易指导图

1.3 涉及工具或命令

1.4 环境

2. 实施

2.1 配置备份服务器

2.2 备份文件准备

2.3 整合命令

2.4 扩展功能

相关文章：