在使用Intellij IDEA,local模式下运行Spark程序时,会在Run窗口打印出很多INFO信息,辅助信息太多可能会将有用的信息掩盖掉。如下所示
要解决这个问题,主要是要正确设置好log4j文件,本文主要分析如何在local模式下,将Spark的INFO信息隐藏,不影响程序中的结果输出。
1、将spark根目录下的log4j.properties文件复制到Intellij IDEA的src路径下
此时项目结构如下图所示:
2、修改log4j.properties文件的内容
将第一行的log4j.rootCategory=INFO, console
改成log4j.rootCategory=ERROR, console
,只显示ERROR级别的日志。
再次运行该代码,可以看到INFO信息已经消失