sparkstreaming 程序没有结果,不报错也不输出

时间:2025-03-23 08:29:22

报错代码:

报错:
sparkstreaming 程序没有结果,不报错也不输出
通过浏览器访问8088端口 spark streaming程序一直处于ACCEPTED状态(处于RUNNING的程序才会运行。)

可能原因:
streaming 在同一个 spark context 下同时只会运行一个,如果需要运行下一个,必须完全kill上一个。
2. kafka队列中有太多积压得信息未被读取。

正确代码:
1.使用 yarn application --list 查看正在运行得yarn应用
2.使用yarn application -kill application_num 关闭积压的yarn应用
3.最好kill掉 整个 spark 后台 重新运行
4.创建 kafka 消费者 消耗掉 队列积压的消息
--bootstrap-server 192.168.119.137:9092 --topic click-trace --from-beginning
5. 重新运行 spark streaming