Apabila batch memasukkan data ke dalam jadual SQL, kunci untuk meningkatkan kecekapan terletak pada mengurangkan bilangan operasi pangkalan data dan menggunakan ciri -ciri pangkalan data yang rasional. Pertama, gunakan memasukkan ke dalam ... nilai (...), (...), (...) untuk memasukkan pelbagai baris data pada satu masa, dan mengawalnya antara 500 dan 1,000 setiap kali untuk mengelakkan kenyataan yang terlalu panjang atau memori yang terlalu tinggi; Kedua, jika jumlah data terlalu besar, anda boleh menggunakan urus niaga untuk membungkus pelbagai operasi sisipan, seperti BEGIN; ... komit; dalam PostgreSQL untuk mengurangkan overhead penyerahan dan memastikan konsistensi; Kedua, memberi keutamaan kepada alat pangkalan data seperti Data Load MySQL Infile dan PostgreSQL's Copy Import Big Data Files, dan prestasi jauh lebih tinggi daripada SQL tulisan tangan; Akhirnya, perhatikan kesan struktur meja, indeks atau kekangan boleh dilumpuhkan buat sementara waktu sebelum dimasukkan untuk meningkatkan kelajuan, dan indeks dibina semula dan maklumat statistik dikemas kini selepas penyisipan, dengan itu meningkatkan kecekapan penyisipan batch keseluruhan.

Biarkan saya bercakap mengenai titik utama secara langsung: Kecekapan adalah kunci apabila batch memasukkan data ke dalam jadual SQL. Ramai orang menggunakan gelung untuk memasukkannya satu persatu, dan pangkalan data adalah perlahan seperti siput untuk merangkak. Malah, selagi kaedah itu betul, kelajuan boleh ditingkatkan beberapa kali atau bahkan berpuluh -puluh kali.

Menggunakan INSERT INTO ... VALUES (...), (...), (...) pernyataan batch

Kaedah pengoptimuman yang paling mudah dan paling biasa ialah memasukkan pelbagai baris data sekaligus, dan bukannya memasukkannya satu persatu.

Contohnya:

 Masukkan ke pengguna (nama, e -mel) 
Nilai 
('Alice', 'Alice@example.com'),
('Bob', 'bob@example.com'),
('Charlie', 'charlie@example.com');

Penyisipan tiga baris sekaligus lebih cepat daripada melaksanakan satu INSERT tiga kali. Tetapi berhati -hati untuk tidak membuatnya terlalu lama. Sebagai contoh, memasukkan puluhan ribu keping pada satu masa boleh membawa kepada pernyataan panjang yang berlebihan, penggunaan memori yang tinggi atau urus niaga yang berlebihan.

Cadangan:

• Ia lebih selamat untuk mengawal penyisipan antara 500 dan 1000 keping setiap kali.
• Pangkalan data yang berbeza mempunyai sekatan ke atas panjang pernyataan, seperti max_allowed_packet MySQL akan mempengaruhi berapa banyak yang anda boleh pasang pada satu masa.

Gunakan transaksi membungkus pelbagai operasi sisipan

Jika data anda terlalu besar untuk disumbat ke dalam satu pernyataan pada satu masa, kemudian gunakan transaksi untuk membungkus pelbagai sisipan.

Sebagai contoh, dalam PostgreSQL, anda boleh menulis ini:

 Bermula;
Masukkan ke dalam pengguna (nama, e -mel) nilai ('Alice', 'Alice@example.com');
Masukkan ke pengguna (nama, e -mel) nilai ('bob', 'bob@example.com');
…
Komit;

Faedah melakukan ini adalah:

• Kurangkan overhead setiap komitmen transaksi.
• Data sama ada berjaya atau gagal memastikan konsistensi.

Nota:

• Urus niaga yang terlalu besar akan menjejaskan log dan mekanisme pemulihan. Jangan sertakan berjuta -juta dalam satu transaksi.
• Sekiranya ada masalah, pengembalian semula juga boleh mahal.

Import dengan alat khusus pangkalan data

Dalam sesetengah senario, tidak perlu mengeja pernyataan SQL secara manual, dan anda boleh menggunakan alat import sendiri pangkalan data.

Contohnya:

• Mysql mempunyai LOAD DATA INFILE
• PostgreSQL mempunyai COPY
• SQL Server mempunyai bcp

Alat ini direka khusus untuk jumlah data yang besar dan jauh lebih cepat daripada SQL tulisan tangan.

Sebagai contoh, gunakan COPY untuk mengimport fail CSV:

 Salin Pengguna (Nama, E -mel)
Dari '/path/to/users.csv'
Delimiter ','
Header CSV;

Kaedah ini sesuai untuk mengimport sejumlah besar data dari fail luaran, dan prestasinya jauh lebih tinggi daripada pernyataan sisipan biasa.

Perhatikan kesan indeks medan dan kekangan

Satu perkara yang diabaikan adalah bahawa struktur meja itu sendiri juga akan menjejaskan kelajuan penyisipan.

Contohnya:

• Apabila memasukkan ke dalam medan dengan indeks yang unik, pangkalan data perlu menyemak konflik, yang akan melambatkan.
• Kekangan utama asing juga menambah overhead pertanyaan tambahan.
• Walaupun mudah untuk meningkatkan kunci utama, ia tidak sepenuhnya kos efektif.

Strategi mengatasi:

• Buat sementara waktu lumpuhkan indeks atau kekangan sebelum dimasukkan (contohnya, padamkan indeks terlebih dahulu, masukkannya dan kemudian membina semula).
• Selepas memasukkan, lakukan analisis lengkap dan statistik untuk membantu pengoptimasi berfungsi dengan lebih baik.

Sudah tentu, pendekatan ini hanya boleh digunakan untuk import berskala besar, dan tidak disyorkan untuk melakukan ini dalam operasi berskala kecil harian.

Pada dasarnya itu sahaja. Kaedah ini tidak rumit, tetapi butirannya benar -benar dapat meningkatkan kecekapan.

Atas ialah kandungan terperinci Pukal memasukkan data dengan cekap ke dalam jadual SQL.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!