文件名称:spark-streaming-gnip:一个Apache Spark实用程序,用于实时从Gnip的PowerTrack中提取推文
文件大小:11KB
文件格式:ZIP
更新时间:2024-06-08 07:53:54
scala spark tweets realtime spark-streaming
Spark-Streaming-Gnip ======================== 一个Apache Spark实用程序,用于实时从Gnip的PowerTrack中提取推文。 说明 该实用程序将帮助使用Spark Streaming从Gnip提取推文。 Gnip,Inc.通过一个API提供来自数十个社交媒体网站的数据。 它也被称为社交媒体网络大*车站。 这段代码实现了一个自定义接收器,该接收器使用Spark流技术从Gnip获取推文并将其“存储”在Spark BlockManager中。 逻辑将在Spark Streaming上下文中指定的时间间隔内自动存储来自Gnip的推文。 请参阅Scala代码示例,了解如何使用此Spark Streaming Gnip实用程序。 Scala示例 import org.apache.spark.SparkConf import or
【文件预览】:
spark-streaming-gnip-master
----.gitignore(329B)
----README.md(2KB)
----scalastyle-config.xml(6KB)
----build.sbt(300B)
----LICENSE(11KB)
----src()
--------main()
----project()
--------plugins.sbt(201B)
--------build.properties(18B)