当前位置：首页 > article >正文

Sqoop源码修改：增加落地HDFS文件数与MapTask数量一致性检查

article 2025/1/31 15:57:31

个人博客地址：Sqoop源码修改：增加落地HDFS文件数与MapTask数量一致性检查 | 一张假钞的真实世界

本篇是对记录一次Sqoop从MySQL导入数据到Hive问题的排查经过的补充。

Sqoop 命令通过 bin 下面的脚本调用，调用如下：

exec ${HADOOP_COMMON_HOME}/bin/hadoop org.apache.sqoop.Sqoop "$@"

org.apache.sqoop.Sqoop 是 Sqoop 的入口类，在此主要是解析参数及初始化工具类，然后通过 org.apache.hadoop.util.ToolRunner 类调用对应的工具完成操作。Sqoop 的 Import 操作对应的是 org.apache.sqoop.tool.ImportTool 类。

在 ImportTool 类的 return 代码前增加以下代码：

int numMappers = options.getNumMappers();

String hDbName = options.getHCatDatabaseName();
String hTableName = options.getHCatTableName();
String hPartKeys = options.getHCatalogPartitionKeys();
String hPartVals = options.getHCatalogPartitionValues();

if(isStringNotEmpty(hDbName) && isStringNotEmpty(hTableName) && isStringNotEmpty(hPartKeys) &&     isStringNotEmpty(hPartVals)) {
  String[] partKeys = hPartKeys.split(",");
  String[] partVals = hPartVals.split(",");

  String partPathStr = "";
  if(partKeys.length > 0 && partVals.length == partKeys.length) {
    for(int i = 0; i < partKeys.length; i++) {
      partPathStr += partKeys[i] + "=" + partVals[i] + "/";
    }
  }

  String targetDir = "/user/hive/warehouse/" + hDbName + ".db/" + hTableName + "/" + partPathStr;
  targetDir = targetDir.toLowerCase();
  LOG.info("---------targetDir=" + targetDir);

  try {
    FileSystem fs = FileSystem.get(options.getConf());
    RemoteIterator<LocatedFileStatus> rIter = fs.listFiles(new Path(targetDir), false);

    int fileCount = 0;
    while(rIter.hasNext()) {
      fileCount++;
      rIter.next();
    }

    LOG.info("---------------fileCount=" + fileCount);

    if(numMappers != fileCount) {
      LOG.error("files number in hdfs not equals mapper task number !");
      return 2;
    }
  } catch (IOException e) {
    LOG.error("count files number from hdfs error !");
    e.printStackTrace();
    return 3;
  }
}

改动只针对 Sqoop 集成 HCatalog 方式导入 ORC 格式的情况。因为我们的数据仓库中都采用的是这种方式。

优化：当 MySQL 中记录数特别少时，如少于 4 条记录，则默认 Sqoop 的 MapTask 数量为 4 但其实际执行时因为原始记录数不够则实际执行的 MapTask 数量会跟实际的记录数一致，此时 split 数量跟落地 HDFS 的文件数量一致。所以，可以根据 Sqoop 对应 MR 的实际 split 数量进行判断文件数量。

查看全文

http://www.kler.cn/a/526103.html