文件名称：用于将数据从 Kafka 流式传输到 Delta Lake 的高效守护进程
文件大小：1.27MB
文件格式：ZIP
更新时间：2024-07-18 12:37:31
rust kafka delta deltalake
kafka-delta-摄取kafka-delta-ingest 项目旨在构建一个高效的守护进程，用于通过Apache Kafka将数据流式传输到Delta Lake 。该项目目前处于高度实验阶段，并与delta-rs绑定一起发展。发展编译：cargo build启动 Kafka -docker-compose up运行 kafka-delta-ingest（有 10 秒的 allowed_latency）：RUST_LOG=debug cargo run ingest example ./tests/data/example --allowed_latency 10 -t' modified_date: substr(modified,`0`,`10`)'' kafka_offset: kafka.offset'在单独的 shell 中，为example主题生成消息，例如：echo "{\"id\":\"1\",\"value\":1,\"modified\":\"2021-03-16T14:38:58Z\"}" | kafkacat -P -b localhost:9092 -t
【文件预览】：
kafka-delta-ingest-main
----bin()
--------clean-example-data.sh(215B)
--------consume-example-json.sh(497B)
--------localstack-setup_emails.sh(1KB)
--------extract-example-json.sh(79B)
----Cargo.lock(62KB)
----.github()
--------workflows()
----tests()
--------emails_s3_tests.rs(10KB)
--------data()
--------json()
--------integration_tests.rs(9KB)
--------helpers()
----src()
--------main.rs(8KB)
--------transforms.rs(13KB)
--------deltalake_ext.rs(22KB)
--------lib.rs(28KB)
--------instrumentation.rs(9KB)
----Cargo.toml(1KB)
----docker-compose-with-statsd.yml(1KB)
----doc()
--------img()
--------DESIGN.md(8KB)
----docker-compose.yml(1KB)
----.gitignore(27B)
----CODE_OF_CONDUCT.md(3KB)
----README.adoc(4KB)
----.gitattributes(77B)
----LICENSE.txt(10KB)