hive使用中的参数优化与问题排查
1.使用hive的虚拟列排查错误案例
set hive.exec.rowoffset=true;
SELECT
–输入文件名
INPUT__FILE__NAME,
–文件中的块内偏移量
BLOCK__OFFSET__INSIDE__FILE,
–文件行偏移量
ROW__OFFSET__INSIDE__BLOCK,
*
from hdp_lbg_zhaopin_defaultdb.zzdetail
where dt=‘20201117’ and logtime is null;
根据结果找到对应的文件名称，根据文件名称将文件复制到本地，
hadoop文件系统复制到本地需要使用copyToLocal命令
hadoop fs -copyToLocal xxx ./yyy
lzo解压 lzop -dv xxx.lzo
在本地使用grep命令过滤出文件中出问题的行，以及其后的若干行，
方便查看问题影响的范围。
grep ‘xxx’ 目标文件名file -A 5 匹配查找到的及以后的20行内容
hive的一个优化 set hive.fetch.task.conversion;
explain extend