kafka-twitter-spark-streaming:实时计算每个用户的推文

时间:2024-02-27 05:06:49
【文件属性】:

文件名称:kafka-twitter-spark-streaming:实时计算每个用户的推文

文件大小:3KB

文件格式:ZIP

更新时间:2024-02-27 05:06:49

python twitter spark twitter-api pyspark

Apache Kafka的Twitter和Spark流 该项目实时统计每个用户包含#GoTS7主题标签的推文。 此外,还会打印用户名和推文计数。 代码说明 身份验证操作已通过Python的Tweepy模块完成。 为Twitter流创建了名为KafkaPushListener的StreamListener。 StreamListener为Kafka Consumer生成数据。 产生的数据已被过滤掉,其中包括《权力的游戏》主题标签。 创建SparkContext来连接Spark集群。 创建了使用“ twitter”主题中的数据的Kafka Consumer。 计算每个用户包含#GotS7


【文件预览】:
kafka-twitter-spark-streaming-master
----README.md(2KB)
----kafka_push_listener.py(1KB)
----kafka_twitter_spark_streaming.py(1KB)
----twitter_config.py(293B)

网友评论