spark配置(4)-----Spark Streaming

时间:2022-10-10 20:47:51

Spark Streaming

Spark Streaming 使用 Spark API 进行流计算,这意味着在 Spark 上进行流处理与批处理的方式一样。因此,你可以复用批处理的代码,使用 Spark Streaming 构建强大的交互式应用程序,而不仅仅是用于分析数据。

Spark Streaming 示例(基于流的单词统计)来演示一下 Spark Streaming:本地服务器通过 TCP 接收文本数据,实时输出单词统计结果。


  
  
  
  1. nc -l -p 9999
  2. # 需要另外开启一个终端,记为终端 2,然后运行如下命令
  3. /usr/local/spark/bin/run-example streaming.NetworkWordCount localhost 9999

在终端 1 中输入文本,在终端 2 中就可以实时看到单词统计结果了。

spark配置(4)-----Spark Streaming


spark配置(4)-----Spark Streaming


spark配置(4)-----Spark Streaming




参考/转载:http://www.powerxing.com/spark-quick-start-guide/