IntelliJ IDEA在Local模式下Spark程序消除日志中INFO输出

时间:2023-12-21 16:25:14

  在使用Intellij IDEA,local模式下运行Spark程序时,会在Run窗口打印出很多INFO信息,辅助信息太多可能会将有用的信息掩盖掉。如下所示

  IntelliJ IDEA在Local模式下Spark程序消除日志中INFO输出

  要解决这个问题,主要是要正确设置好log4j文件,本文主要分析如何在local模式下,将Spark的INFO信息隐藏,不影响程序中的结果输出。

1、将spark根目录下的log4j.properties文件复制到Intellij IDEA的src路径下

  此时项目结构如下图所示:

  IntelliJ IDEA在Local模式下Spark程序消除日志中INFO输出

2、修改log4j.properties文件的内容

  将第一行的log4j.rootCategory=INFO, console改成log4j.rootCategory=ERROR, console,只显示ERROR级别的日志。

  再次运行该代码,可以看到INFO信息已经消失

  IntelliJ IDEA在Local模式下Spark程序消除日志中INFO输出