JAVA代码如何设置SPARK的日志打印级别

时间:2025-03-23 08:35:35

问题场景:在使用spark sql 增加where条件过滤时,会出现打印很多的被过滤掉的记录(几十万条),导致跑spark sql 特别慢!

var df2 = ("SELECT * FROM T_COMMISIONRATEDEF WHERE T_INSURANCETYPE = '630' ORDER BY T_INSURANCETYPE DESC " )


执行时,打印截图:


解决方法

设置spark 的日志级别,不打印过滤INFO信息


1)代码中使用呢代理设置:关键参考代码如下


import .

import .

("").setLevel()
("").setLevel()
("").setLevel()


代码截图: