Sqoop导入MySQL中含有回车换行符的数据
个人博客地址:Sqoop导入MySQL中含有回车换行符的数据
MySQL中的数据如下图:
检查HDFS上的目标文件内容可以看出,回车换行符位置的数据被截断了,导致数据列错位。
Sqoop提供了配置参数,在导入时丢弃掉数据的分隔符(\n,\r,\01)。
--hive-drop-import-delims : Drops \n, \r, and \01 from string fields when importing to Hive.
个人博客地址:Sqoop导入MySQL中含有回车换行符的数据
MySQL中的数据如下图:
检查HDFS上的目标文件内容可以看出,回车换行符位置的数据被截断了,导致数据列错位。
Sqoop提供了配置参数,在导入时丢弃掉数据的分隔符(\n,\r,\01)。
--hive-drop-import-delims : Drops \n, \r, and \01 from string fields when importing to Hive.