hive 排序优缺点

原创 BAT笔试面试勇哥聊IT

1、order by

（1）全局排序，所有的数据都会汇集到一个reduce中进行排序，并发度有限，适用于数据量不太大的全局排序。

（2）当开启MR严格模式，即：set hive.mapred.mode=strict 时：

普通表查询必须加limit，分区表查询条件必须对分区字段限制。

2、sort by

只对每个reduce内部进行排序，全局不保证；

可基于sort by产生的有序文件，再进行一次全局归并排序，实现全局排序。

该方案相比order by 排序并发度更高，适用于大数据量排序。

3、distribute by

分区划分、控制map中的输出如何分配到reduce中，保证相同的key划分到同一个reducer中。

通常与sort by结合使用

4、cluster by

当sort by 和distribute by 使用的列相同时，可以用cluster by 替代这两个关键字。

缺点：只能升序排序，不能指定规则为asc或desc。

推荐阅读
Spark 有什么优缺点？
Spark RDD有什么特性

加小编微信 “tickai” （备注大数据），拉你入“大数据学习交流群”

-------------End-------------

更多面试题请关注

“BAT笔试面试”

继续滑动看下一个