Tout d'abord, jetons un coup d'?il à notre objectif?: insérer par lots 10 000 éléments de données dans la base de données mysql

Environnement d'exploitation?: le code Mysql et Java s'exécutent tous deux sur mon ordinateur Windows local (processeur i7, 4 c?urs, 16 Go de mémoire en cours d'exécution, système d'exploitation 64 bits

1. Exécution JPA monothread

Code omis, prend environ 39S

2. Exécution multithread JPA

Cela prend environ 37S, ce qui n'est pas beaucoup plus rapide que prévu

( Partage de vidéos d'apprentissage gratuit?:Tutoriel vidéo Java)

Raison?: Le multithreading ne fait qu'améliorer considérablement le temps nécessaire au programme pour traiter les données, mais n'augmente pas le temps d'insertion dans la base de données. Au contraire, dans le cadre de JPA ici, le multi-threading Cela signifie que plusieurs connexions consomment plus de performances de base de données

package com.example.demo.controller;

import com.example.demo.entity.Student;
import com.example.demo.service.StudentServiceInterface;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import javax.xml.bind.ValidationException;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;
import java.util.concurrent.CountDownLatch;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

@RestController
@RequestMapping("/student")
public class StudentController {

    @Autowired
    private StudentServiceInterface studentServiceInterface;

    // 來(lái)使主線程等待線程池中的線程執(zhí)行完畢
    private CountDownLatch threadsSignal;

    // 每個(gè)線程處理的數(shù)據(jù)量
    private static final int count = 1000;
    // 我的電腦為4核 線程池大小設(shè)置為2N+1
    private static ExecutorService execPool = Executors.newFixedThreadPool(9);
    
    /**
     * 多線程保存
     *
     * @return
     * @throws ValidationException
     */
    @GetMapping()
    public String saveStudentEnableThread() throws ValidationException {
        Long begin = new Date().getTime();
        // 需要插入數(shù)據(jù)庫(kù)的數(shù)據(jù)
        List<Student> list = new ArrayList<>();
        for (int i = 0; i < 10000; i++) {
            Student student = new Student();
            student.setName("張三");
            student.setAge(10);
            list.add(student);
        }
        try {
            if (list.size() <= count) {
                threadsSignal = new CountDownLatch(1);
                execPool.submit(new InsertDate(list));
            } else {
                List<List<Student>> lists = dealData(list, count);
                threadsSignal = new CountDownLatch(lists.size());
                for (List<Student> students : lists) {
                    execPool.submit(new InsertDate(students));
                }
            }
            threadsSignal.await();
        } catch (Exception e) {
            System.out.println(e.toString() + " 錯(cuò)誤所在行數(shù)：" + e.getStackTrace()[0].getLineNumber());
        }
        // 結(jié)束時(shí)間
        Long end = new Date().getTime();
        return "10000條數(shù)據(jù)插入花費(fèi)時(shí)間 : " + (end - begin) / 1000 + " s";
    }

    /**
     * 數(shù)據(jù)組裝
     * 把每個(gè)線程要處理的數(shù)據(jù) 再組成一個(gè)List
     * 我這邊就是把10000條數(shù)據(jù) 組成 10個(gè)1000條的集合
     *
     * @param target 數(shù)據(jù)源
     * @param size   每個(gè)線程處理的數(shù)量
     * @return
     */
    public static List<List<Student>> dealData(List<Student> target, int size) {
        List<List<Student>> threadList = new ArrayList<List<Student>>();
        // 獲取被拆分的數(shù)組個(gè)數(shù)
        int arrSize = target.size() % size == 0 ? target.size() / size : target.size() / size + 1;
        for (int i = 0; i < arrSize; i++) {
            List<Student> students = new ArrayList<Student>();
            //把指定索引數(shù)據(jù)放入到list中
            for (int j = i * size; j <= size * (i + 1) - 1; j++) {
                if (j <= target.size() - 1) {
                    students.add(target.get(j));
                }
            }
            threadList.add(students);
        }
        return threadList;
    }

    /**
     * 內(nèi)部類,開啟線程批量保存數(shù)據(jù)
     */
    class InsertDate extends Thread {
        List<Student> list = new ArrayList<Student>();
        public InsertDate(List<Student> students) {
            list = students;
        }
        public void run() {
            try {
                // 與數(shù)據(jù)庫(kù)交互
                studentServiceInterface.save(list);
                threadsSignal.countDown();
            } catch (ValidationException e) {
                e.printStackTrace();
            }
        }
    }
}

3 Insertion JDBC traditionnelle

. prend environ 8S, par rapport aux deux premiers. La méthode est beaucoup plus rapide. Le code est le suivant :

package com.example.demo.controller;

import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import javax.xml.bind.ValidationException;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.util.Date;

@RestController
@RequestMapping("/student1")
public class StudentController1 {

    @GetMapping()
    public String saveStudentEnableThread() throws ValidationException {
        // 開始時(shí)間
        Long begin = new Date().getTime();
        Connection connection = null;
        try {
            connection = DriverManager.getConnection("jdbc:mysql://localhost:3306/db01?characterEncoding=utf8&useUnicode=true&useSSL=false&serverTimezone=UTC&allowPublicKeyRetrieval=true", "admin", "123456");//獲取連接
            if (connection != null) {
                System.out.println("獲取連接成功");
            } else {
                System.out.println("獲取連接失敗");
            }
            //這里必須設(shè)置為false，我們手動(dòng)批量提交
            connection.setAutoCommit(false);
            //這里需要注意，SQL語(yǔ)句的格式必須是預(yù)處理的這種，就是values(?,?,...,?)，否則批處理不起作用
            PreparedStatement statement = connection.prepareStatement("insert into student(id,`name`,age) values(?,?,?)");
            // 塞數(shù)據(jù)
            for (int i = 0; i < 10000; i++) {
                statement.setInt(1, i+1);
                statement.setString(2, "張三");
                statement.setInt(3, 10);
                //將要執(zhí)行的SQL語(yǔ)句先添加進(jìn)去，不執(zhí)行
                statement.addBatch();
            }
            // 提交要執(zhí)行的批處理，防止 JDBC 執(zhí)行事務(wù)處理
            statement.executeBatch();
            connection.commit();
            // 關(guān)閉相關(guān)連接
            statement.close();
            connection.close();
        } catch (Exception e) {
            e.printStackTrace();
        }
        // 結(jié)束時(shí)間
        Long end = new Date().getTime();
        // 耗時(shí)
        System.out.println("10000條數(shù)據(jù)插入花費(fèi)時(shí)間 : " + (end - begin) / 1000 + " s");
        return "10000條數(shù)據(jù)插入花費(fèi)時(shí)間 : " + (end - begin) / 1000 + " s";
    }

}

4 Enfin, vérifiez si les données ont été stockées avec succès dans la base de données. Il y a 30 000 éléments au total. et aucune donnée n'est perdue

Terminé !

Recommandations associées?: Tutoriel d'introduction à Java

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!