foreachPartition来写数据库时间:2023-03-08 18:06:29 foreachPartition,在生产环境中,通常来说,都使用foreachPartition来写数据库的 使用批处理操作(一条SQL和多组参数) 发送一条SQL语句,发送一次 一下子就批量插入100万条数据。 用了foreachPartition算子之后,好处在哪里? 1、对于我们写的function函数,就调用一次,一次传入一个partition所有的数据 2、主要创建或者获取一个数据库连接就可以 3、只要向数据库发送一次SQL语句和多组参数即可