【文件属性】：
文件名称：kafka-consumer-channel:允许将Flume用作高速通用Kafka消费者
文件大小：12KB
文件格式：ZIP
更新时间：2021-05-15 07:56:14
Java
Flume的“ Kafka消费者”渠道
这是Flume的非常高吞吐量的通道，可将Flume用作高速可靠的Kafka用户。
它走多快？
当通过10GigE连接从1个经纪人Kafka群集消耗1000个字节的事件时，它的时钟速率约为360 MB / s，并附有单个Null Sink（最快的接收器）。 使用较慢的接收器，它将以接收器可以运行的最快速度运行。
相反，当Kafka Source配置有Memory通道和Null接收器时，可以提供大约150 MB / s的速度。 但是，要从Flume代理崩溃进行可靠的恢复，将需要文件通道。 对于单个磁盘，文件通道只能提供大约40 MB / s的速度。
为什么可靠？
该频道依赖于Kafka保留消耗事件的能力。 万一接收器的交付尝试失败或Flume进程崩溃，我们仍然可以从Kafka撤回此类“飞行中”事件，并在以后的某个时间点交付它们。 它提供“至少一
【文件预览】：
kafka-consumer-channel-master
----.gitignore(8B)
----README.md(4KB)
----pom.xml(2KB)
----LICENSE(11KB)
----src()
--------main()