【NIFI】 实现数据库到数据库之间数据同步

时间:2022-05-15 15:20:09

  本里需要基础知识:【NIFI】 Apache NiFI 安装及简单的使用

数据同步

  界面如下:

    【NIFI】 实现数据库到数据库之间数据同步

  具体流程:

    1、使用ExecuteSQL连接mysql数据库,通过写sql查询所需要的数据

    2、nifi默认查出来的数据为Avro格式,所以需要ConvertAvroToJSON把Avro格式转化为json格式的数据

    3、使用ConvertJSONToSQL把json数据转化为sql语句

    4、使用PutSQL把数据存入数据库。

    5、同步的数据重复插入数据库,需要对数据进行更新操作,SplitJson对json进行拆分

    6、EvaluateJsonPath提取json中的某个属性作为参数

    7、ReplaceText根据参数编写update语句进行更新操作

    8、PutSQL更新数据库

  传递关系时注意:本例仅传递成功的数据,失败的不传递

  ExecuteSQL

    【NIFI】 实现数据库到数据库之间数据同步

  DBCPConnectionPool

    【NIFI】 实现数据库到数据库之间数据同步

  ConvertAvroToJSON

    【NIFI】 实现数据库到数据库之间数据同步

  ConvertJSONToSQL

    【NIFI】 实现数据库到数据库之间数据同步

  PutSQL

    【NIFI】 实现数据库到数据库之间数据同步

  SplitJson

    【NIFI】 实现数据库到数据库之间数据同步

  EvaluateJsonPath

    【NIFI】 实现数据库到数据库之间数据同步

  ReplaceText

    【NIFI】 实现数据库到数据库之间数据同步

  PutSQL

    【NIFI】 实现数据库到数据库之间数据同步

  连接各个组件,然后启动所有组件,即可运行

各组件的具体说明请参考官方文档:http://nifi.apache.org/docs/nifi-docs/