snapflow:功能性React式数据管道

【文件属性】：
文件名称：snapflow:功能性React式数据管道
文件大小：196KB
文件格式：ZIP
更新时间：2021-03-22 08:05:05
data-science sql etl pipelines immutability 协同数据 Snapflow是一个用于从模块化组件构建功能性React式数据管道的框架。 它使开发人员可以使用Python或SQL编写渐进类型的纯数据函数（称为snaps ，这些函数对datablocks （结构和语义由灵活schemas描述的不可变数据集）进行React性操作。 这些快照可以组成简单或复杂的数据管道，以处理数据处理管道的每个步骤，从API提取到转换再到分析和建模。 此功能性响应框架具有强大的优势： 简单的声明式图—快照流的功能性响应性质将传统ETL的混乱状态混合成混乱，并将其转变为干净的声明式数据流。 重建和增量更新的复杂混合成为简单的无状态运算符。 可重用的组件-由于它们是独立的，具有记录的输入和输出，因此可以轻松地将快照插入在一起，在项目之间共享和重用，开源并在snapflow信息库中进行分类（即将推出）。 一些示例snapflow模块和组件： 摄取Stripe