当前位置：首页 > article >正文

阿里云闪电立方-数据备份到云下

article 2024/10/18 15:18:25

新钛云服已累计为您分享815篇技术干货

背景

因云上软件系统停止运行，40 余 TB 的 OSS 数据迫切需要进行下云备份操作。在经过详尽的全面评估后，最终确定采用阿里云的闪电立方方案来实现数据迁移。同时，为了妥善存储这些数据，新购置了一个 NAS设备。

准备工作

前期准备

NAS前期准备

一般数据量小于50TB以下的，可考虑类似桌面型的塔式NAS存储，一般为2~6块硬盘，具体可用大小可根据单盘容量来计算，例如6盘的设备，单盘12TB（实际容量可按10.91TB计算，这个值可能会因文件系统格式化和系统保留空间等因素略有减少，但通常不会有太大变化），做完RAID 5后（RAID 5允许一个磁盘故障而不丢失数据）可用容量约50TB。

另外防止数据存在丢失的风险，需要考虑存储设备是否有加密措施？群晖NAS设备有两种加密措施，一种是共享文件夹加密，另外一种是synology卷加密。具体看需求，不需要两种同时使用。我打电话问群晖售前，建议用第二种synology卷加密。故采用如下表所示的NAS配置：

预估时间

预估费用

具体操作步骤

下单

下单前请通过工单方式提交申请，将上文“前期准备”中的内容提供给阿里云。申请审批通过后，会在闪电立方购买页开放“数据备份到云下IDC”的购买入口（如下图所示），信息填写完成后下单。

下单成功后，阿里云会进行备货，从就近的仓库调用设备到指定机房，然后做数据下云操作。下云完成后给到我一个迁移详情的excel表格，里面有数据在闪电立方上的路径，等收到设备后即可通过路径查看到数据。阿里云安排设备下架后，会将设备寄送到我指定的收货地址。

注意：因为我这边需要闪电立方通过万兆网口直接对拷到NAS上，所以需要告诉阿里云在备货时提供2个RJ45的网线和2个光转电模块。

收到设备并迁移数据

开箱验货

收到闪电立方设备时，查看设备和配件是否完整，配件：2个RJ45的网线、2个光转电模块、1根国标电源线（机器顶部面板打开即可看到）。检查是否有严重损坏，如果出现设备损坏等情况，请立即联系阿里云工作人员。

自备显示屏、键盘、鼠标连接闪电立方设备，输入用户名和密码（请联系阿里云工作人员获取用户名和密码），登录闪电立方。检查是否缺少数据，因为我这边在数据传输完成后才发现有两个任务的目的路径重复了，导致这两个任务需要重新从OSS下载，所以建议在一开始收到闪电立方的时候就检查数据。

NAS 挂载到闪电立方

第一步、使用光转电模块和RJ45的网线，将NAS与闪电立方的万兆网口直连。

第二步、配置NAS网络。打开NAS桌面应用程序上的“控制面板”，选择“网络”，选择“网络界面”下的“局域网5”进行编辑，手动设置网络配置，将IP地址配置为“192.168.1.2”，子网掩码配置为“255.255.255.0”，完成后点击“确定”按钮。

第三步、配置NAS的NFS。在“控制面板”里的“文件服务”中，选择“NFS”，勾选“启用 NFS 服务”，“最大 NFS 协议”设置为“NFSv3”。

在“控制面板”里的“共享文件夹”中，选择想要共享的目录，配置“NFS 权限”，新增如下图所示的配置。

第四步、配置闪电立方网络，将IP地址改为“192.168.1.4”，子网掩码为“255.255.255.0”，注释掉网关，完成后重启网卡。

ping NAS的地址“192.168.1.2”，检查是否能ping通

使用下面的命令查看NAS已经共享出来的目录

showmount -e 192.168.1.2

使用下面的命令将NAS挂载到服务器的/mnt/nas目录

mount -t cifs //192.168.1.2/共享的目录名称 /mnt/nas -o username="NAS的用户名",password="NAS的密码",vers=3.0

迁移数据

步骤一、找到ossimport迁移工具

在闪电立方上执行ps -ef | grep jar，查看是否有master.jar、worker.jar、tracker.jar 三个进程，有的话执行kill -9 进程号，将3个进程都杀掉。
在闪电立方上执行cd /mnt/cube/software/ossimport进入ossimport目录，以下操作都在该目录进行。

步骤二、创建迁移任务

任务是需要指定到目录层级的。如果需要迁移目的端所有的数据，创建1个迁移任务即可。如果只迁移目的端N个目录下的数据，则创建N个任务。

1. 配置job.cfg文件

执行cd conf，进入conf目录。有几个迁移任务，就需要复制几份job.cfg文件，注意做好cfg文件区分，例如job1.cfg、job2.cfg、job3.cfg。打开其中一个cfg文件，例如 vi job1.cfg，配置下列信息。

jobName=   自己取任务名。
srcType=local
srcPrefix=   填写源路径，注意后面要加上/（例如/mnt/cube/data/business/）
destType=local
destPrefix=   填写目标路径，注意后面要加上/（例如/mnt/nas/business/）

【补充举例说明：假设目的端挂载到闪电立方上的挂载点是/mnt/nas，要将闪电立方中的数据迁到目的端/mnt/nas/business目录里。闪电立方的存储目录为/mnt/cube/data/，则srcPrefix填写/mnt/cube/data/business/，destPrefix填写/mnt/nas/business/】

2. 部署服务

执行bash console.sh deploy

3. 启动服务

执行bash console.sh start

4. 输入ps -ef | grep jar查看

如果有master.jar、worker.jar、tracker.jar 三个进程，说明启动正常。

5. 提交迁移任务

执行bash console.sh submit conf/cfg文件名，例如bash console.sh submit conf/job1.cfg

步骤三、查看迁移日志，确认迁移状态

查看迁移日志

在ossimport/workdir/logs/ 目录下会存放一些日志用于记录文件的上传状态以及任务的状态。

• job_status.log该文件30秒更新一次，用于简单记录任务的状态信息。