本里需要基础知识:【NIFI】 Apache NiFI 安装及简单的使用
数据同步
界面如下:
具体流程:
1、使用ExecuteSQL连接mysql数据库,通过写sql查询所需要的数据
2、nifi默认查出来的数据为Avro格式,所以需要ConvertAvroToJSON把Avro格式转化为json格式的数据
3、使用ConvertJSONToSQL把json数据转化为sql语句
4、使用PutSQL把数据存入数据库。
5、同步的数据重复插入数据库,需要对数据进行更新操作,SplitJson对json进行拆分
6、EvaluateJsonPath提取json中的某个属性作为参数
7、ReplaceText根据参数编写update语句进行更新操作
8、PutSQL更新数据库
传递关系时注意:本例仅传递成功的数据,失败的不传递
ExecuteSQL
DBCPConnectionPool
ConvertAvroToJSON
ConvertJSONToSQL
PutSQL
SplitJson
EvaluateJsonPath
ReplaceText
PutSQL
连接各个组件,然后启动所有组件,即可运行
各组件的具体说明请参考官方文档:http://nifi.apache.org/docs/nifi-docs/