hive高频写入小数据，导致hdfs小文件过多，出现查询效率很低的情况
问题描述
hive高频写入小数据，导致hdfs小文件过多，出现查询效率很低的情况
分析过程
先复现现象
select count() from ads.ads_sdd_flow_managemlt_to_ids_mm;–15分钟，小文件10983
select max(mm) from ads.ads_sdd_flow_managemlt_to_ids_mm;–6分钟，小文件10983
select count() from ads.ads_sdd_flow_managemlt_to_ids_mm_tmp20250214;–1分钟，只有一个文件
select max(mm) from ads.ads_sdd_flow_managemlt_to_ids_mm_tmp20250214;–41秒，只有一个文件
所以查询时间长是因为小文件导致
插入实验
实验证明一次插入都会有一个copy文件生成，ads_sdd_flow_management_result_to_ids_mm写入频率很高，所以小文件很多
解决方法
使用insert overwrite table插入数据，这样子不会产生很多小文件。