推荐一个数据分析宝藏公众号「小火龙说数据」

无广告、无软文、纯干货，更多精彩原创文章与你分享！

01 Hive运行顺序

在应用Hive过程中，你是否有过这样的疑问？

「同层查询中，sum/avg聚合后的过滤是否可以放在where后面？」

针对类似问题，只要清楚了Hive SQL的运行顺序，便会迎刃而解，顺序如下：

(步骤7) SELECT count(*) as col1 (步骤8) DISTINCT
(步骤1) FROM
(步骤3) A JOIN B
(步骤2) ON A.x = B.x
(步骤4) WHERE A.y = 1
(步骤5) GROUP BY A.x
(步骤6) HAVING col1 > 100
(步骤9) ORDER BY col1
(步骤10) LIMIT 100

因此，针对上面的问题，由于group by是在where的后面，因此sum/avg聚合后的过滤是不可以放在where中的，而是需要放在having当中。

02 数据倾斜出现原因及解决方案

正所谓“不怕数据大，就怕发生数据倾斜”，数据倾斜是Hive经常遇到的问题，同时也是面试的高发问题。针对数据倾斜，小火龙为大家汇总了问题发生的情况，以及处理的方式，如下图：

03 过滤条件放置位置「join 场景」

Join场景中，过滤条件要放在左表和右表的子查询里面，而不要放置在join on外侧过滤。

不建议

Select 
  t1.x
  ,t2.x
from 
  qqq t1
left join 
  ppp t2
on 
  t1.key=t2.key 
  and t1.ds=d1 
  and t2.ds=d1
;

建议

Select 
  t1.x 
  ,t2.x 
from 
  (select * from a where ds=d1) t1
left join
  (select * from  b where ds=d1) t2 
on 
  t1.key=t2.key
;

04 AB两表放置位置「join场景」

内连接时小表放前面、大表放后面。将较大的表放在inner join操作符的右侧，可以提高查询效率，执行速度快，不容易出现计算内存溢出错误。

[A为小表]
A inner join B on A.key = B.key ;

05 hive与mysql/oracle差异「join场景」

内关联场景中，hive与mysql/oracle存在一些差异。

正确写法

A join B on A.key=B.key ;

错误写法

from A ,B where A.key=B.key ;

下面写法在mysql/oracle等价于内连接，但是在Hive中会导致笛卡尔积，查询无法运行。

06 分区缩小扫描范围「where场景」

有些同学在码SQL的时候，有时会忘记加分区筛选，这会导致全表扫描。不仅会影响自己的产出速度，还会占用过多资源，影响整个集群的使用。

07 distinct与group by的区别「计数场景」

在去重计数场景中，我们经常应用count(distinct)来进行处理；有时也会先在内层通过group by聚合，然后再在外层计数count(*)。那这两者的区别是什么呢？

「group by」适用于数据量级较大的情况

特点：时间复杂度高 + 空间复杂度低。

原理：group by先对列进行排序，类似sort方法，而排序的基本理论是，时间复杂度为nlog(n)，空间复杂度为1。

优点：空间复杂度低，适用于大数据量级。

「distinct」适用于数据量级不大的情况

特点：时间复杂度低 + 空间复杂度高。

原理：distinct需要将col列中的全部内容都存储在一个内存中，可以理解为一个hash结构，key为col的值，最后计算hash结构中有多少个key即可得到结果。需要将所有不同值存储在一起，内存消耗较大。

优点：时间复杂度低，适用于中小数据量级。

08 order by与distribute by sort by的区别「排序场景」

在排序场景中，这两个函数使我们经常遇到的，这两者的区别在于：

「order by」

适用于全局排序，数据放在一个reduce中处理。

「distribute by sort by」

适用于分组排序及全局排序，数据放在多个reduce中处理。

09 union与union all的区别「merge场景」

当需要将多个数据源合并在一起的时候，会遇到union的情况。

「union」

合并过程中，数据集去重合并。例如：输入多相同行，输出保留一行。

「union all」

合并过程中，数据集全部合并。因此，union all支持并行执行。例如：输入多相同行，输出多相同行。

10 哪些场景提供加速查询「limit场景」

众所周知，Hive查询是基于MR执行的，但调用Map/Reduce是存在时间成本的。如果我们只需要取几条探查一下表数据，通常通过limit限制查询的条数，而当where中除分区外没有其他过滤条件时，是不会生成Map/Reduce，数据即可输出，提升效率。

limit不生成Map/Reduce场景（推荐使用）

Select * from A limit 10；
Select * from A where ds = 20121212 limit 10；

limit生成Map/Reduce场景

Select * from A where ds = 20220101 and guid=’xxx’ limit 10；
Select a from A limit 10；
Select a from A where ds = 20220101 limit 10；

以上就是本期的内容分享

如果你也对数据分析感兴趣，那就来关注我吧，更多「原创」文章，与你分享！！

微信公众号：小火龙说数据