mybatis批量提交

时间:2023-03-09 08:05:57
mybatis批量提交

之前在做项目时,使用mybatis,批量执行sql,这里简单写下步骤

  • 在配置数据库连接时,加入一个参数,例如

jdbc:mysql://127.0.0.1:3307/mvs-report?allowMultiQueries=true

  • 在mybatis执行时传入list集合参数,
  • 在mybatis的xml文件中拼装sql,例如
<insert id="batchInsert" parameterType="java.util.List" >
insert into rpt_fault (FAULT_ID, FAULT_NAME)
values
<foreach collection="list" item="item" separator=",">
(#{item.faultId,jdbcType=INTEGER}, #{item.faultName,jdbcType=VARCHAR})
</foreach>
</insert>
  • 一般来说这就满足需求了,但是为了更好的扩展,最好是指定一个集合最大值,这样一来方便在不同配置的服务器上切换,手动调节阈值。本示例使用了java反射特性来实现,具体如下
         private static final int ADD_MAX = 200;
    private static final int DELETE_MAX = 500;
    public static void executeBatchAdd(Object mapper, List<?> list) throws Exception {
    if (Objects.isNull(list) || list.isEmpty())
    return; try {
    Method method = mapper.getClass().getMethod("batchInsert", List.class);
    int size = list.size();
    if (size > ADD_MAX) {
    int num = (size) / ADD_MAX + 1;
    int start = 0, end = 0;
    for (int i = 1; i <= num; i++) {
    start = (i - 1) * ADD_MAX;
    end = (i * ADD_MAX) > size ? size : (i * ADD_MAX);
    method.invoke(mapper, list.subList(start, end));
    }
    } else
    method.invoke(mapper, list);
    } catch (Exception e) {
    logger.error("批量插入任务执行失败:", e.getMessage(), e);
    throw e;
    } finally {
    list.clear();
    }
    }

    最后补充:

  • 有时候我们在使用mysql数据库时候,当我们的阈值过大时,可能会遇到过more than 'max_binlog_cache_size' bytes of storage 的错误
  • 这是不要慌,这是mysql默认的日志提交字节太小导致的。
  • 首先查看当前设置的大小:show variables like '%binlog_%size%';
  • 然后酌情设置set global max_binlog_cache_size=10737418240;
  • 此种方式不用重启数据库服务器,较为简便。