kafka-wikipedia-data-stream:一个简单的Python脚本,它使用Wikipedia最近更改的EventStreams服务中的事件数据,并以json格式构造事件,该事件将被发送到Kafka主题

时间:2021-04-12 20:21:29
【文件属性】:
文件名称:kafka-wikipedia-data-stream:一个简单的Python脚本,它使用Wikipedia最近更改的EventStreams服务中的事件数据,并以json格式构造事件,该事件将被发送到Kafka主题
文件大小:4KB
文件格式:ZIP
更新时间:2021-04-12 20:21:29
python events streaming kafka wikipedia 使用Kafka传输*事件 这个简单的Python脚本利用了 Web服务,该服务通过遵循SSE协议的HTTP公开结构化事件流。 这些事件包括有关Wikipedia网页编辑,创建新网页等信息。 为了这个项目,我们只过滤掉与编辑现有页面有关的事件。 这些事件将被解析为适当的格式,并被发送回Kafka主题。 我们使用以下格式构造发送到Kafka的事件: { " id " : 1426354584 , " domain " : " www.wikidata.org " , " namespace " : " main namespace " , " title " : " articles_title " , " timestamp " : " 2021-03-14T21:55:14Z " , " user_name " : " a_user_name " , " user_t
【文件预览】:
kafka-wikipedia-data-stream-master
----wikipedia_events_kafka_producer.py(4KB)
----requirements.txt(128B)
----.gitignore(2KB)
----README.md(1KB)

网友评论