文件名称:kafka-connect-oss:Kafka Connect OSS连接器套件
文件大小:68KB
文件格式:ZIP
更新时间:2024-06-14 04:58:43
Java
Kafka Connect OSS 现在,您可以将此连接器用作接收器,以json,avro或parquet格式将数据从kafka主题上载到OSS。 该连接器定期轮询来自Kafka的数据,然后将其上传到OSS。 您可以配置一个分区程序以将数据拆分为多个块,每个数据块均表示为一个OSS对象。键名称对主题,Kafka分区和该数据块的起始偏移量进行编码。 如果在配置中未指定分区程序,则使用保留Kafka分区的默认分区程序。 每个数据块的大小取决于写入OSS的记录数和架构兼容性。 执照 它受Apache许可,版本2.0的约束,这意味着您可以随意使用它,而您可以以任何方式使用它。 局限性 需要Kafka 0.11.0.0或更高版本(0.11.x,1.x,2.x)。 现在将不支持其他版本(0.10.x或更低)。 安装OSS连接器 编译与部署 执行以下命令: git clone https://gi
【文件预览】:
kafka-connect-oss-master
----pom.xml(9KB)
----LICENSE(523B)
----src()
--------test()
--------main()
----README.md(15KB)