怎麼使用springboot+mybatis快速插入大量數據-java教程-PHP中文網

一. JDBC實作方案

用一個for 循環，把資料一一插入；產生一個插入sql，類似這種insert into user(name,pwd) values('aa','123 '),('cc','123')...

第一種方案，是用for語句循環插入：

該方案的優點在於，JDBC 中的PreparedStatement 有預編譯功能，預編譯之後會快取起來。之後SQL執行會比較快，而且 JDBC可以開啟批次，這個批次執行非常給力。

劣勢在於，很多時候我們的 SQL 伺服器和應用伺服器可能並不是同一台，所以必須考慮網路 IO。如果網路 IO 比較花時間的話，那麼可能會拖慢 SQL 執行的速度。

第二種方案，是產生一條 SQL進行插入：

此方案的優點在於，只有一次網路 IO。即使分片處理也只是幾次網路 IO，所以這個方案不會在網路 IO 上花費太多時間。

當然這種方案也有劣勢。一是SQL 太長了，甚至可能需要分片後批次處理；二是無法充分發揮PreparedStatement 預編譯的優勢，SQL 要重新解析且無法重複使用；三是最終產生的SQL 太長了，資料庫管理器解析這麼長的SQL 也需要時間。

我們接下來會採用第二種方案來實作。

二. 具體實現思路

如果我們想要拉高插入效率，肯定不能夠一條一條地插入了，必須得使用foreach批量插入；

採用多執行緒進行非同步插入，提升效能；

我們不可能單次提交多個insert，大量的插入操作會很耗時，短時間內完不成，可以採用定時任務來實現。

接下來我們就來談談具體該怎麼利用程式碼來實作。

三.程式碼實作

本案例主要是基於SpringBoot整合mybatis進行實作。

1.導入依賴

    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.3.4.RELEASE</version>
    </parent>
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.48</version>
        </dependency>
        <dependency>
            <groupId>org.mybatis.spring.boot</groupId>
            <artifactId>mybatis-spring-boot-starter</artifactId>
            <version>2.1.0</version>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
        </dependency>
    </dependencies>

登入後複製

2.建立啟動類別

@SpringBootApplication  //引导类核心注解
@EnableScheduling //开启定时任务
public class BatchApplication {
    public static void main(String[] args) {
        SpringApplication.run(BatchApplication.class,args);
    }
}

登入後複製

3.設定檔application.yml

server:
  port: 9999  # 指定端口号
spring:
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://localhost:3306/springboot?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=UTC
    username: root
    password: 123
mybatis:
  mapper-locations: classpath:mybatis/*.xml   #指定mapper映射文件路径
  type-aliases-package: com.qfedu.model  # 别名

登入後複製

4.建立表格與實體類User

建立表格：

CREATE TABLE `user` (
  `id` INT(11) NOT NULL AUTO_INCREMENT,
  `username` VARCHAR(30) DEFAULT NULL,
  `pwd` VARCHAR(20) DEFAULT NULL,
  `sex` INT(11) DEFAULT NULL,
  `birthday` DATETIME DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=MyISAM  DEFAULT CHARSET=utf8

登入後複製

注意：MyISAM效率會比INNODB快。

User.java

@Data
public class User {
    private int id;
    private String username;
    private String pwd;
    private int sex;
    private LocalDate birthday;
}

登入後複製

5.持久層mapper與映射檔

UserMapper.java

@Mapper
public interface UserMapper {
    void insertBatch(@Param("userList") List<User> userList);
}

登入後複製

UserMapper.xml

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper
        PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
        "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.qfedu.mapper.UserMapper">
    <insert id="addList" parameterType="User"  >
        insert  into user (username,pwd,sex,birthday) values
        <foreach collection="list" item="item" separator=",">
            (#{item.username}, #{item.pwd}, #{item.sex}, #{item.birthday})
        </foreach>
    </insert>
</mapper>

登入後複製

6.開啟定時任務

SpringBoot預設整合了scheduled，使用步驟如下：

#在引導類別加入@EnableScheduling註解，開啟定時任務；
在業務層方法上加入@Scheduled註解，定義cron表達式週期執行。

業務層方法中開啟的執行緒可以根據目前機器的設定來修改。我們這裡開了7個線程，每個線程去執行20次循環，一次增加5000條資料。這裡要注意mybatis批量插入時，不建議超過10000個錯誤。因為資料量過大，容易出現棧記憶體溢位的問題。

@Component
public class UserServiceImpl {
    @Autowired
    private UserMapper userMapper;
    @Autowired
    //线程池
    private ThreadPoolExecutor executor;
    @Scheduled(cron = "0/20 * * * * ?") //每隔20秒执行一次
    public void  addList(){
        System.out.println("定时器被触发");
        long start = System.currentTimeMillis();
        for (int i = 0; i < 7; i++) {
 
            Thread thread = new Thread(() -> {
                try {
                    for (int j = 0; j < 20; j++) {
                        userMapper.addList(UserUtil.getUsers(5000));
                    }
                } catch (Exception e) {
                    e.printStackTrace();
                }
            });
            try {
                executor.execute(thread);
            } catch (Exception e) {
                System.out.println(e.getMessage());
            }
        }
    }
}

登入後複製

7.產生物件的util

我們用來模擬產生要插入的數據，實際業務開發的時候可以是從excel匯入的數據。

public class UserUtil {
    private static Random random = new Random();
    public static List<User> getUsers(int num){
        List<User> users = new ArrayList<>();
        for (int i = 0;i<num;i++){
            User user = new User();
            user.setBirthday(LocalDate.now());
            user.setSex(random.nextInt(2));
            user.setPwd("123"+random.nextInt(100000));
            user.setUsername("batch"+random.nextInt(num));
            users.add(user);
        }
        return users;
    }
}

登入後複製

8.執行緒池配置

執行緒池參數：

corePoolSize 核心執行緒數，在執行緒池中要保證的最小執行緒數；

mainumPoolSize 最大執行緒數，執行緒池中能執行的最大執行緒數；
keepAliveTime 保證存活時間，當執行緒空閒時間，多久會回收執行緒；
unit 和keepAliveTime配合使用，時間單位；
workQueue 工作佇列，用於儲存任務在任務被執行之前。

@Configuration
public class ThreadPoolExecutorConfig {
    @Bean
    public ThreadPoolExecutor threadPoolExecutor() {
        //线程池中6个线程，最大8个线程，用于缓存任务的阻塞队列数5个
        ThreadPoolExecutor executor = new ThreadPoolExecutor(6, 8, 5, TimeUnit.SECONDS, new ArrayBlockingQueue<>(100));
        executor.allowCoreThreadTimeOut(true);//允许超时
        return executor;
    }
}

登入後複製