记一次spark两个大表join数据倾斜调优

a表7亿条 b表1亿条 a表 aid c1 c2 c3 b表 bid bvalue 需求：分别用a表的c1 c2 c3与b表的bid关联（left join），获取bvalue 来扩充a表 1.直接写三个left join 发现数据倾斜 2.c1 c2 c3 只关联一次如下，进行查看，发现不会出现数据倾斜 df1=("select * from b") df2=("select * from a") df3=(df1,df2.c1=,left) () 3.考虑为什么一次join 不会出现数据倾斜，多次join就会出现 4.因为() 不会用全部的数据去join，或者说show只会返回部分结果，spark不会用全部数据去计算。多次join，两张表先join（是全量数据），再去和下一个join。 5.查看a表的数据情况,发现c1 为null的情况非常多。 select c1,count(1) as cnt from a group by c1 order by cnt desc; 6.解决办法。虽然c1 c2 c3为null的非常多，但是不能去掉这一行数据。 两张表又都是大表。所以采用 拆分join 由于逻辑c1为null c2 c3必为null，所以有如下sql df1=("select * from a where c1 is not null") df2=(select * from b) df3=(df2,xx,xx) 三次join df4=("select * from a where c1 is null") df4=('xx',()) 由于bvalue是一个array，所以这里放array 最后df3 df4 union df5=(df4) 7.调优前job运行16分钟，调优后58s。