问题场景:在使用spark sql 增加where条件过滤时,会出现打印很多的被过滤掉的记录(几十万条),导致跑spark sql 特别慢!
var df2 = ("SELECT * FROM T_COMMISIONRATEDEF WHERE T_INSURANCETYPE = '630' ORDER BY T_INSURANCETYPE DESC " )
执行时,打印截图:
解决方法:
设置spark 的日志级别,不打印过滤INFO信息
1)代码中使用呢代理设置:关键参考代码如下
import .
import .
("").setLevel()
("").setLevel()
("").setLevel()
代码截图: