文件名称:streamer:streamer 实时计算引擎
文件大小:1.81MB
文件格式:ZIP
更新时间:2024-06-02 10:42:53
streaming kafka stream-processing calcite kafka-sql
Streamer流计算引擎 介绍 Streamer流计算引擎是一个基于Apache Calcite的实时计算框架,没有采用大家熟知的Spark和Flink,自研的Kafka消费者,来处理 Kafka的数据,实现实时计算的目的。 通过Calcite实现了Kafka和JDBC数据源的JOIN,可以很方便的把Kafka中的数据,当作一张无边界的表来使用。 特性 - 目前只支持Kafka的数据源,后面考虑支持更多。 - 支持JDBC的维度表,来实现某个维度的去重,比如某日的UV。 - 支持 Console 、JDBC 、Redis和企业微信的SINK。 用法举例 CREATE TABLE kafkaTable( context.device.did:did string, context.device.factory:factory string, context.device.