文件名称：ingestion_benchmark
文件大小：251KB
文件格式：ZIP
更新时间：2024-06-12 17:12:06
Python
ingestion_benchmark 该项目比较了两种摄取技术：Kafka和AWS Kinesis。 研究问题 如果所有生产者都在一个节点上运行，那么将数据以多快的速度生成到Kafka / Kinesis中？ 设置 在每个实验中，由专用节点托管生产者，生产者将消息发送到摄取代理： Kafka在四个节点的集群上运行。 Kinesis每个实验由一个流组成。 消息是一个短字符串，其中包含每个生产者从0开始的序列号。 此外，字符串还包含创建消息时的时间戳。 每个生产者都附有一个记录器。 每隔几秒钟便会通知度量标准组件，该组件将根据消息序列号和时间戳计算吞吐量。 吞吐量存储在运行于专用节点上MySQL数据库中。 Flask前端在Web浏览器中显示结果。 结果与发现 注意，结果也显示在。 Kafka以每秒3万条消息的吞吐量最大化。 即使是并行化也不会影响吞吐量。 Kinesis为一个
【文件预览】：
ingestion_benchmark-master
----img()
--------ThroughputBulksize.png(37KB)
--------ThroughputProducers.png(35KB)
--------ResearchQuestion.png(67KB)
--------Architecture.png(76KB)
----src()
--------kinesis_demo.sh(58B)
--------prodcon.py(12KB)
--------dbwrapper.py(4KB)
--------__init__.py(0B)
--------kafka_demo.sh(69B)
----.gitignore(110B)
----README.md(3KB)
----flask-app()
--------templates()
--------__init__.py(0B)
--------flask_main.py(2KB)