本地Apache Hive的Linux服务器集群复制数据到SQL Server数据库的分步流程

我们已经有安装Apache Hive的Linux服务器集群，它可以连接到一个SQL Server RDS数据库，需要在该Linux服务器上安装配置sqoop，然后将Hive中所有的表数据复制到SQL Server RDS数据库。

以下是分步指南，用于在Linux服务器上安装配置Sqoop并将Hive表数据迁移至SQL Server RDS：

1. 安装Sqoop

步骤：

1. 下载Sqoop
   前往Apache Sqoop下载页面，选择稳定版本（如1.4.7）：

   wget https://archive.apache.org/dist/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
   tar -xzvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
   mv sqoop-1.4.7.bin__hadoop-2.6.0 /opt/sqoop
   

2. 配置环境变量
   编辑~/.bashrc或/etc/profile：

   export SQOOP_HOME=/opt/sqoop
   export PATH=$PATH:$SQOOP_HOME/bin
   

   应用配置：

   source ~/.bashrc
   

3. 验证安装

   sqoop version
   

2. 配置SQL Server JDBC驱动

步骤：

1. 下载驱动
   从Microsoft下载JDBC驱动，选择最新版本（如mssql-jdbc-12.2.0.jre8.jar）。

2. 复制驱动到Sqoop的lib目录

   cp mssql-jdbc-12.2.0.jre8.jar $SQOOP_HOME/lib/
   

3. 测试连接

   sqoop list-databases \
   --connect "jdbc:sqlserver://<RDS_HOST>:<PORT>;databaseName=<DATABASE>" \
   --username <USER> \
   --password <PASSWORD>
   

   替换<RDS_HOST>, <PORT>, <DATABASE>, <USER>, <PASSWORD>为实际值。

3. 生成SQL Server表结构

步骤：

1. 获取Hive表列表

   hive -e 'SHOW TABLES;' > hive_tables.txt
   

2. 生成SQL Server DDL
   编写脚本generate_ddl.sh：

   #!/bin/bash
   while read table; do
     # 获取Hive表结构
     hive -e "DESCRIBE FORMATTED $table" > describe_$table.txt
     
     # 转换为SQL Server DDL（示例，需根据实际类型调整）
     awk '/^col_name/{getline; while($0 !~ /^#/) {print $0; getline}}' describe_$table.txt | 
     awk '{printf "%s %s,\n", $1, 
       ($2 == "string") ? "VARCHAR(255)" : 
       ($2 == "int") ? "INT" : 
       ($2 == "timestamp") ? "DATETIME" : 
       "VARCHAR(255)"}' | 
     sed '$s/,$//' > $table.sql
     
     echo "CREATE TABLE $table (" > ddl_$table.sql
     cat $table.sql >> ddl_$table.sql
     echo ");" >> ddl_$table.sql
   done < hive_tables.txt
   

   运行脚本：

   chmod +x generate_ddl.sh
   ./generate_ddl.sh
   

3. 在SQL Server中创建表
   使用sqlcmd或客户端工具执行生成的DDL。

4. 使用Sqoop导出数据

步骤：

1. 获取Hive表HDFS路径
   通常路径为：/user/hive/warehouse/<database>.db/<table>。确认路径：

   hdfs dfs -ls /user/hive/warehouse/
   

2. 导出命令示例
   编写脚本export_all.sh：

   #!/bin/bash
   while read table; do
     sqoop export \
     --connect "jdbc:sqlserver://<RDS_HOST>:<PORT>;databaseName=<DATABASE>" \
     --username <USER> \
     --password <PASSWORD> \
     --table $table \
     --export-dir /user/hive/warehouse/<database>.db/$table \
     --input-fields-terminated-by '\001' \
     --input-lines-terminated-by '\n' \
     -m 4
   done < hive_tables.txt
   

   替换占位符并运行：

   chmod +x export_all.sh
   ./export_all.sh
   

5. 验证数据

• 在SQL Server中查询记录数：

  SELECT COUNT(*) FROM <table>;
  

• 检查数据一致性，对比Hive和SQL Server的数据样本。

常见问题处理

• 数据类型不匹配：调整DDL中的类型映射。
• 分隔符错误：使用--input-fields-terminated-by指定正确的分隔符（Hive默认\001）。
• 连接超时：增加--connection-param-file中的超时设置。
• 权限问题：确保Hadoop用户有权访问HDFS路径，SQL Server用户有写入权限。

完整流程图

安装Sqoop → 配置JDBC驱动 → 生成Hive表列表 → 转换DDL → 创建SQL表 → Sqoop导出数据 → 验证

通过以上步骤，您可以将Hive中的所有表数据迁移到SQL Server RDS。根据数据量和网络情况，可能需要调整并行度（-m参数）和内存设置。