今天执行 Spark SQL 任务时,报了个 错误,这个错误是 Java 虚拟机抛出的错误,表示堆栈溢出。
这通常是由于递归调用或无限循环引起的。要解决此问题,有如下方法可以尝试:
-
尝试优化代码以减少递归或循环的深度
-
增加堆栈大小
#如果是在executor中报的错误,修改下面参数即可
spark.executor.extraJavaOptions=-Xss30M
#如果是在driver中报的错误,修改下面参数即可
spark.driver.extraJavaOptions=-Xss30M