Hive学习之路:Hive的数据倾斜
1、什么是数据倾斜？
由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点
2、Hadoop 框架的特性
A、不怕数据大，怕数据倾斜
B、Jobs 数比较多的作业运行效率相对比较低，如子查询比较多
C、 sum,count,max,min 等聚集函数，通常不会有数据倾斜问题
文章来源于互联网。
由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点
2、Hadoop 框架的特性
A、不怕数据大，怕数据倾斜
B、Jobs 数比较多的作业运行效率相对比较低，如子查询比较多
C、 sum,count,max,min 等聚集函数，通常不会有数据倾斜问题
文章来源于互联网。
161条回复 |
最后回复于2020-6-22
D：某些 HQL 语句本身就存在数据倾斜
回复列表
-
内容加载中...
说点什么...
6、业务场景
回复列表
-
内容加载中...
说点什么...
（1）空值产生的数据倾斜
回复列表
-
内容加载中...
说点什么...
场景说明。
回复列表
-
内容加载中...
说点什么...
在日志中，常会有信息丢失的问题，比如日志中的 user_id，如果取其中的 user_id 和用户表中的 user_id 相关联，就会碰到数据倾斜的问题。
回复列表
-
内容加载中...
说点什么...
优秀
回复列表
-
内容加载中...
说点什么...
解决方案。
回复列表
-
内容加载中...
说点什么...
解决方案 1：user_id 为空的不参与关联
回复列表
-
内容加载中...
说点什么...
解决方案 2：赋予空值新的 key 值
回复列表
-
内容加载中...
说点什么...
总结
方法 2 比方法 1 效率更好，不但 IO 少了，而且作业数也少了，方案 1 中，log 表 读了两次，jobs 肯定是 2，而方案 2 是 1。这个优化适合无效 id（比如-99，’’，null）产 生的数据倾斜，把空值的 key 变成一个字符串加上一个随机数，就能把造成数据倾斜的 数据分到不同的 reduce 上解决数据倾斜的问题。
方法 2 比方法 1 效率更好，不但 IO 少了，而且作业数也少了，方案 1 中，log 表 读了两次，jobs 肯定是 2，而方案 2 是 1。这个优化适合无效 id（比如-99，’’，null）产 生的数据倾斜，把空值的 key 变成一个字符串加上一个随机数，就能把造成数据倾斜的 数据分到不同的 reduce 上解决数据倾斜的问题。
回复列表
-
内容加载中...
说点什么...
返回首页
编程源码
