文件名称：QStreaming:一个简化的轻量级ETL管道框架，用于在Apache Spark之上构建流批量处理应用程序
文件大小：450KB
文件格式：ZIP
更新时间：2024-04-08 09:39:54
Scala
介绍 QStreaming是一个框架，可简化基于ETL的编写和执行 它基于简单的类似于SQL的配置文件，并且可以在任何Spark集群上运行 入门 构型 要运行QStreaming，必须首先定义如下的Pipeline DSL文件。 管道DSL 例如，一个简单的管道dsl文件应如下所示： -- DDL for streaming input which connect to a kafka topic -- this declares five fields based on the JSON data format.In addition, it use the ROWTIME() to declare a virtual column that generate the event time attribute from existing ts field create stream i