Mybatis 批量插入、存储过程 <转帖>本文作者午饭，转载注明出处：http://www.cnblogs.com/sunwufan/archive//04/27/2473308.html     本文地址，转载注明出处：Mybatis 批量插入、存储过程

 

 

本文将详细讲解Mybatis访问MySQL数据库的三种方式及测试效果。

三种方式：simple方式（基本数据库逐条访问）、batch方式（批量操作）、procedure方式(存储过程)。

文章主要内容：

• 准备工作：数据库建立、存储过程建立等。
• Eclipse中的项目搭建。
• 所得数据分析，工作原理浅析。

 

1.准备工作：

 

  　　命令行还是图形界面？这个随意，总之建完就这么个东西。

　　　　　　

建表主要有两点注意：

• 主键要自增（再插入数据是时，省去很多麻烦）
• 表要建成UTF8格式（否则插入中文可能报错，或乱码。当然在安装MySQL进行配置时也要选GBK之类的）

为MySQL建存储过程

 

CREATE DEFINER = `root`@`localhost` PROCEDURE `NewProc`(IN `name_in` varchar(255),IN `age_in` int,IN `sex_in` varchar(255),IN `password_in` varchar(255),IN `num_in` int)
BEGIN
    SET @a=0;
Label:LOOP
    SET @a=@a+1;
    INSERT INTO person ( name, age, sex, password) VALUES (name_in,age_in,sex_in,password_in);
     IF @a=num_in THEN
            LEAVE Label;
        END IF;
END LOOP Label;
END;

      num_in为执行插入操作的次数，在java中设好，传入。

     不管什么方式，最终效果一样就可进入下一步。

 

2.Eclipse中的项目搭建。

　　建立javaProject，最终目录结构。

简单说下建立时的逻辑顺序：1导入三个jar包-->2建立log4j.properties -->3建立Configuration.xml-->4建立Person.java-->5 建立InsertSimple.java-->6建立person.xml-->7在Configuration.xml中注册person.xml-->此时InsertSimple.java就可以运行了。

剩下的两个Insert**.java建立好后在person.xml中注入即可。

ok讲完流程了，下面开始狂贴代码：

　　配置文件

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd">
<configuration>
    <environments default="myexample">
        <environment id="myexample">
            <transactionManager type="JDBC" />
            <dataSource type="POOLED">
                <property name="driver" value="com.mysql.jdbc.Driver" />
                <property name="url" value="jdbc:mysql://localhost:3306/javaweb" />
                <property name="username" value="root" />
                <property name="password" value="admin"/>
            </dataSource>
        </environment>
    </environments>
    <mappers>
        <mapper resource="person.xml"/>
    </mappers>
</configuration>

log4j.rootLogger=DEBUG, Console

#Console
log4j.appender.Console=org.apache.log4j.ConsoleAppender
log4j.appender.Console.layout=org.apache.log4j.PatternLayout
log4j.appender.Console.layout.ConversionPattern=%d [%t] %-5p [%c] - %m%n

log4j.logger.java.sql.ResultSet=INFO
log4j.logger.org.apache=INFO
log4j.logger.java.sql.Connection=DEBUG
log4j.logger.java.sql.Statement=DEBUG
log4j.logger.java.sql.PreparedStatement=DEBUG　　

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="org.wufan.dao.PersonDao">


    <insert id="insert" parameterType="org.wufan.vo.Person"
        keyProperty="id" keyColumn="GENERATED_KEY" useGeneratedKeys="true">
        INSERT INTO person ( name, age, sex, password)
        VALUES (
        #{name},#{age},#{sex},#{password} )
    </insert>


    <insert id="insertBatch" parameterType="org.wufan.vo.Person"
        keyProperty="id" keyColumn="GENERATED_KEY" useGeneratedKeys="true">
        INSERT INTO person ( name, age, sex, password)
        VALUES
        <foreach collection="persons" item="item" index="index"
            separator=",">
            (#{item.name},#{item.age},#{item.sex},#{item.password})
        </foreach>
    </insert>


    <insert id="insertByProc" statementType="CALLABLE">
        {call insertPro(#{name},#{age},#{sex},#{password},#{num})}
    </insert>

</mapper>

 　Java代码

　　 pojo(vo)类

package org.wufan.vo;


public class Person {
    private int id;
    private String name;
    private int age;
    private String sex;
    private String password;
    public int getId() {
        return id;
    }
    public void setId(int id) {
        this.id = id;
    }
    public String getName() {
        return name;
    }
    public void setName(String name) {
        this.name = name;
    }
    public int getAge() {
        return age;
    }
    public void setAge(int age) {
        this.age = age;
    }
    public String getSex() {
        return sex;
    }
    public void setSex(String sex) {
        this.sex = sex;
    }
    public String getPassword() {
        return password;
    }
    public void setPassword(String password) {
        this.password = password;
    }
}

　　

　　普通方式（for循环逐条插入）的主函数

package org.wufan.test;

import java.io.IOException;
import org.apache.ibatis.io.Resources;
import org.apache.ibatis.session.SqlSession;
import org.apache.ibatis.session.SqlSessionFactory;
import org.apache.ibatis.session.SqlSessionFactoryBuilder;
import org.wufan.vo.Person;

public class InsertSimple {

    /**
     * @param args
     */
    public static void main(String[] args) {

        int num = 10000;// 插入数据量
        SqlSessionFactory factory = null;
        try {
            factory = new SqlSessionFactoryBuilder().build(Resources.getResourceAsReader("Configuration.xml"));
        } catch (IOException e) {
            e.printStackTrace();
        }
        System.out.println("进入MySQL");
        double begin = System.currentTimeMillis();
        SqlSession sqlSession = factory.openSession();
        Person per = new Person();
        for (int i = 1; i <= num; i++) {

            per.setName("InsertSimple" + i);
            per.setAge(i);
            per.setSex("男");
            per.setPassword("密码" + i);

            sqlSession.insert("org.wufan.dao.PersonDao.insert", per);
            sqlSession.commit();
            // sqlSession.clearCache();
        }
        double time = (System.currentTimeMillis() - begin) / 1000;
        System.out.println("插入共花费时间" + time + "s");
    }

}

　

　　batch方式（批量操作）的主函数

package org.wufan.test;

import java.io.IOException;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

import org.apache.ibatis.io.Resources;
import org.apache.ibatis.session.ExecutorType;
import org.apache.ibatis.session.SqlSession;
import org.apache.ibatis.session.SqlSessionFactory;
import org.apache.ibatis.session.SqlSessionFactoryBuilder;
import org.wufan.vo.Person;

public class InsertBatch {

    /**
     * @param args
     */
    public static void main(String[] args) {

        int num = 10000;// 插入数据量
        SqlSessionFactory factory = null;
        List<Person> list = new ArrayList<Person>();
        try {
            factory = new SqlSessionFactoryBuilder().build(Resources.getResourceAsReader("Configuration.xml"));
        } catch (IOException e) {
            e.printStackTrace();
        }
        Person per = new Person();
        for (int i = 1; i <= num; i++) {
            // per.setId(null);
            per.setName("InsertBatchName" + i);
            per.setAge(i);
            per.setSex("男");
            per.setPassword("密码" + i);
            list.add(per);
        }
        double begin = System.currentTimeMillis();
        SqlSession sqlSession = factory.openSession(ExecutorType.BATCH, false);

        Map<String, List<Person>> tmp = new HashMap<String, List<Person>>();
        tmp.put("persons", list);

        sqlSession.insert("org.wufan.dao.PersonDao.insertBatch", tmp);
        sqlSession.commit();

        sqlSession.close();
        double time = (System.currentTimeMillis() - begin) / 1000;
        System.out.println("插入共花费时间" + time + "s");

    }
}

 

  　 procedure方式(存储过程)的主函数

package org.wufan.test;

import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

import org.apache.ibatis.io.Resources;
import org.apache.ibatis.session.SqlSession;
import org.apache.ibatis.session.SqlSessionFactory;
import org.apache.ibatis.session.SqlSessionFactoryBuilder;

public class InsertProcedure {

    /**
     * @param args
     */
    public static void main(String[] args) {
        int num=10000;//插入数据量
        SqlSessionFactory factory = null;
        ;
        try {
            factory = new SqlSessionFactoryBuilder().build(Resources.getResourceAsReader("Configuration.xml"));
        } catch (IOException e) {
            e.printStackTrace();
        }
        SqlSession sqlSession = factory.openSession();
        Map map = new HashMap();
        map.put("name", "InsertProcName");
        map.put("age", 11);
        map.put("sex", "男");
        map.put("password", "1234");
        map.put("num", num);
        double begin = System.currentTimeMillis();
        sqlSession.insert("org.wufan.dao.PersonDao.insertByProc", map);
        sqlSession.commit();
        sqlSession.close();
        double time = (System.currentTimeMillis() - begin) / 1000;
        System.out.println("插入共花费时间" + time + "s");
    }
}

 

      三种方式的控制台log

 

      普通方式InsertSimple.java

     

batch方式（批量操作）

 

procedure方式(存储过程)

如果出现以上三图，恭喜，哥们你成功了！！

 

3.所得数据分析。

    1--num = 1000 ;  
       普通处理:3.527s
       批量处理:0.628s  
       存储过程处理:0.144s
      
    2--num = 1w;  
       普通处理:27.465s  
       批量处理:1.528s  
       存储过程处理:0.585s  
      
    3--num = 10w;  
       普通处理: 335.18s  
       批量处理: 11.944s
       存储过程处理:5.146s  
      
    4--num = 30w;  
       普通处理: 885.335s     
       批量处理：34.767s
   　  存储过程处理:15.875s

 小笔记本扛不住了，测试就到这里了。

 注意：在这里由于存储数据过大，批量处理时内存会吃不消。

• 我的笔记本到达10W条数据时，会超过MySQL默认内存设置。Eclipse会报错。

 　　解决办法：http://www.cnblogs.com/chy710/archive/2008/03/06/1093680.html

当插入30w条数据时会报“Java heap space” java虚拟机内存错误

　　 解决办法：http://developer.51cto.com/art/200906/128572.htm

 

   工作原理浅析（其实上面的DEBUG截图，已经很能说明问题了）：

• 普通方式，就是一条一条往里插。

　　优点：对计算机基本没什么要求，插入方式灵活。

　　缺点：重复插入大量数据时，很慢。

• 批量处理：是把插入请求放入内存，一起提交给数据库。

　　优点：比普通方式快，比存储过程灵活。

　　缺点：吃内存，海量数据压力略大。

• 存储过程：只需在程序中调用存储过程，向数据库传参，。数据库根据你建好的存储过程来跑。

　　优点：最快，飞起啊！！

　　缺点：较为死板，换数据库工具，还要在新的数据库中建立存储过程。改需求时维护，较为麻烦。

      从数据报告可看出，普通插入理论上就是一次函数，二阶导数为零（就尼玛直线啊！）；批量处理和存储过程应该都是会有一个性价比最好的值。一阶导数恒大于零，二阶导数先正后负。

 

PS：

•  Mybatis和Ibatis还是有些不同的（虽然没用过Ibatis），网上的文章比较少，官网的用户报告下不下来，靠网友经验和自己摸索做的。本人也是被赶鸭子上架头一次做，之前都怎么敲过java代码，更别说框架了，如有错误请指正！！
• 请不要管我要源码了，这些写的比较清楚了（基本上这就算源码了==！），用源码一点成就感都没得。
•  别问我其他操作怎么搞，我估计也不会的，如果针对此教程调试不通过可以尽管问。

      

最后是查到的一些对我有帮助的资料：

       ibatis 学习笔记(一) 批量处理 存储过程 （行文方式直接抄他的，但具体技术就不一样了，他的测试结果有点怪）

　　 Mybatis调用存储过程　　ibatis3调用存储过程  mybatis 3.0.5 --batch insert后如何获取返回的值

       MyBatis的关于批量数据操作的体会  Java：MyBatis简单入门   MyBatis简介与配置MyBatis+Spring+MySql