Sqoop支持ORC文件格式
个人博客地址：Sqoop支持ORC文件格式 | 一张假钞的真实世界
ORC介绍
ORC文件格式是Hive 0.11.0版本引入的一种文件格式。ORC的引入是为了解决其他Hive文件格式的局限性。使用ORC文件格式提升Hive读取、写入及处理数据的性能。
与RCFile对比，ORC文件格式有很多优点：
- 每个Task只输出一个文件，降低NameNode的负载。
- Hive数据类型支持，包括：datetime、decimal以及复杂数据类型（struct、list、map、union）。
- 文件中存储轻量级的索引：
- 跳过不通过谓语过滤的行组
- 跳转到指定的行
- 基于数据类型的块模式压缩：
- 整型数据列采用行程长度编码（run-length encoding）
- 字符串数据列采用词典编码（dictionary encoding）
- 使用独立的RecordReader并发读取相同的文件
- 无需扫描markers就可以分割文件的能力
- 绑定读写需要的内存量
- 使用Protocol Buffer存储元数据，允许添加、移除字段
Hive官网介绍：