


Bagaimana untuk Memilih Baris Rawak dengan Cekap dalam PostgreSQL?
Jan 21, 2025 am 05:32 AMKaedah pemilihan baris rawak PostgreSQL yang cekap
Untuk memilih baris rawak dalam PostgreSQL, kaedah terbaik bergantung pada saiz jadual, indeks yang tersedia dan tahap rawak yang diperlukan.
Untuk jadual yang sangat besar dengan 500 juta baris dan lajur ID berangka (cth. id):
-
Kaedah terpantas:
- Gunakan fungsi CTE dan
random()
untuk menjana ID rawak dalam ruang ID. - Sertai ID yang dijana dengan jadual menggunakan lajur id.
- Tapis pendua dan alih keluar ID berlebihan.
- Gunakan fungsi CTE dan
WITH params AS ( SELECT 1 AS min_id, -- 最小id , 5100000 AS id_span -- 四舍五入。(max_id - min_id + buffer) ) SELECT * FROM ( SELECT p.min_id + trunc(random() * p.id_span)::integer AS id FROM params p , generate_series(1, 1100) g -- 1000 + buffer GROUP BY 1 -- 去除重復(fù)項(xiàng) ) r JOIN big USING (id) LIMIT 1000; -- 去除多余項(xiàng)
-
Kaedah penambahbaikan:
- Gunakan CTE rekursif (
random_pick
) untuk menghapuskan sebarang jurang dalam ruang ID. - Gabungkan hasil rekursif untuk menghapuskan pendua.
- Gunakan luaran
LIMIT
untuk memenuhi kekangan.
- Gunakan CTE rekursif (
WITH RECURSIVE random_pick AS ( SELECT * FROM ( SELECT 1 + trunc(random() * 5100000)::int AS id FROM generate_series(1, 1030) -- 1000 + 百分之幾 - 根據(jù)需要調(diào)整 LIMIT 1030 -- 查詢規(guī)劃器提示 ) r JOIN big b USING (id) -- 消除缺失 UNION -- 消除重復(fù)項(xiàng) SELECT b.* FROM ( SELECT 1 + trunc(random() * 5100000)::int AS id FROM random_pick r -- 加上百分之三 - 根據(jù)需要調(diào)整 LIMIT 999 -- 小于1000,查詢規(guī)劃器提示 ) r JOIN big b USING (id) -- 消除缺失 ) TABLE random_pick LIMIT 1000; -- 實(shí)際限制
-
Fungsi am:
- Balut pertanyaan di atas ke dalam fungsi supaya ia boleh digunakan semula untuk mana-mana jadual dengan lajur integer unik.
CREATE OR REPLACE FUNCTION f_random_sample(_tbl_type anyelement , _id text = 'id' , _limit int = 1000 , _gaps real = 1.03) RETURNS SETOF anyelement LANGUAGE plpgsql VOLATILE ROWS 1000 AS $func$ DECLARE _tbl text := pg_typeof(_tbl_type)::text; _estimate int := (...); BEGIN RETURN QUERY EXECUTE format( $$ WITH RECURSIVE random_pick AS ( SELECT ... FROM ... ... ) TABLE random_pick LIMIT ; $$ , _tbl, _id ) USING (...); END $func$;
Untuk senario yang tidak memerlukan rawak yang tepat atau panggilan berulang:
-
Paparan material:
- Buat paparan terwujud untuk menyimpan kira-kira baris yang dipilih secara rawak.
- Segarkan semula pandangan yang menjadi kenyataan secara berkala.
-
TABLESAMPLE SYSTEM (n)
:- Diperkenalkan dalam PostgreSQL 9.5,
TABLESAMPLE SYSTEM (n)
menyediakan kaedah persampelan rawak yang cepat dan tidak tepat.
Parameter n
mewakili peratusan jadual untuk dijadikan sampel.
- Diperkenalkan dalam PostgreSQL 9.5,
SELECT * FROM big TABLESAMPLE SYSTEM ((1000 * 100) / 5100000.0);
Nota lain:
- Untuk prestasi terbaik, gunakan indeks pada lajur ID.
- Fungsi
random()
dalam PostgreSQL tidak selamat dari segi kriptografi. - Pendekatan yang dicadangkan memberikan tahap rawak yang tinggi untuk kebanyakan kes penggunaan praktikal.
Atas ialah kandungan terperinci Bagaimana untuk Memilih Baris Rawak dengan Cekap dalam PostgreSQL?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undress AI Tool
Gambar buka pakaian secara percuma

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Clothoff.io
Penyingkiran pakaian AI

Video Face Swap
Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas

GTID (Pengenal Transaksi Global) menyelesaikan kerumitan replikasi dan failover dalam pangkalan data MySQL dengan memberikan identiti unik kepada setiap transaksi. 1. Ia memudahkan pengurusan replikasi, secara automatik mengendalikan fail log dan lokasi, yang membolehkan pelayan hamba meminta urus niaga berdasarkan GTID yang dilaksanakan terakhir. 2. Pastikan konsistensi di seluruh pelayan, pastikan setiap transaksi digunakan hanya sekali pada setiap pelayan, dan elakkan ketidakkonsistenan data. 3. Meningkatkan kecekapan penyelesaian masalah. GTID termasuk nombor UUID pelayan dan siri, yang mudah untuk mengesan aliran transaksi dan mencari masalah dengan tepat. Ketiga -tiga kelebihan teras ini menjadikan replikasi MySQL lebih mantap dan mudah dikendalikan, meningkatkan kebolehpercayaan sistem dan integriti data.

Failover Perpustakaan Utama MySQL terutamanya termasuk empat langkah. 1. Pengesanan kesalahan: Secara kerap memeriksa proses perpustakaan utama, status sambungan dan pertanyaan mudah untuk menentukan sama ada ia adalah downtime, menyediakan mekanisme semula untuk mengelakkan salah laku, dan boleh menggunakan alat seperti MHA, Orchestrator atau yang disimpan untuk membantu dalam pengesanan; 2. Pilih Perpustakaan Utama Baru: Pilih Perpustakaan Hamba yang paling sesuai untuk menggantikannya mengikut Kemajuan Penyegerakan Data (SecondS_Behind_Master), integriti data binLog, kelewatan rangkaian dan keadaan beban, dan melakukan pampasan data atau campur tangan manual jika perlu; 3. Tukar Topologi: Titik perpustakaan hamba lain ke perpustakaan induk baru, laksanakan semula semula atau aktifkan GTID, kemas kini konfigurasi VIP, DNS atau proksi ke

Langkah-langkah untuk menyambung ke pangkalan data MySQL adalah seperti berikut: 1. Gunakan format perintah asas MySQL-U Username-P-H alamat host untuk menyambung, masukkan nama pengguna dan kata laluan untuk log masuk; 2. Jika anda perlu memasukkan pangkalan data yang ditentukan secara langsung, anda boleh menambah nama pangkalan data selepas arahan, seperti MySQL-Uroot-PmyProject; 3 Jika port bukan lalai 3306, anda perlu menambah parameter -P untuk menentukan nombor port, seperti MySQL-UROOT-P-H192.168.1.100-P3307; Di samping itu, jika anda menghadapi ralat kata laluan, anda boleh memasukkannya semula. Jika sambungan gagal, periksa rangkaian, firewall atau tetapan kebenaran. Jika pelanggan hilang, anda boleh memasang MySQL-Client di Linux melalui Pengurus Pakej. Menguasai arahan ini

Untuk menambah direktori bin MySQL ke laluan sistem, ia perlu dikonfigurasikan mengikut sistem operasi yang berbeza. 1. Sistem Windows: Cari folder bin dalam direktori pemasangan MySQL (laluan lalai biasanya c: \ programfiles \ mysql \ mysqlserverx.x \ bin), klik kanan "Komputer ini" → "sifat" → "Tetapan Sistem Lanjutan" → " MySQL-Pengesahan versi; 2.Macos dan Sistem Linux: Pengguna Bash Edit ~/.bashrc atau ~/.bash_

Tahap pengasingan urus niaga mysql adalah berulang, yang menghalang bacaan kotor dan bacaan yang tidak boleh dikembalikan melalui kunci MVCC dan GAP, dan mengelakkan bacaan hantu dalam kebanyakan kes; Tahap utama yang lain termasuk bacaan yang tidak komited (readuncommitted), yang membolehkan bacaan kotor tetapi prestasi terpantas, 1. memastikan integriti data tetapi mengorbankan prestasi;

Urus niaga MySQL mengikuti ciri -ciri asid untuk memastikan kebolehpercayaan dan konsistensi urus niaga pangkalan data. Pertama, atomiki memastikan bahawa urus niaga dilaksanakan sebagai keseluruhan yang tidak dapat dipisahkan, sama ada semua berjaya atau semua gagal untuk kembali. Sebagai contoh, pengeluaran dan deposit mesti diselesaikan atau tidak berlaku pada masa yang sama dalam operasi pemindahan; Kedua, konsistensi memastikan bahawa transaksi peralihan pangkalan data dari satu keadaan yang sah ke yang lain, dan mengekalkan logik data yang betul melalui mekanisme seperti kekangan dan pencetus; Ketiga, pengasingan mengawal penglihatan pelbagai urus niaga apabila pelaksanaan serentak, menghalang bacaan kotor, bacaan yang tidak dapat dikembalikan dan bacaan fantasi. MySQL menyokong ReadunCommitted dan ReadCommi.

Indexesinmysqlimprovequeryspeedbyenablingfasterdataretrieval.1.theyreducedAtascanned, membolehkanmysqltoquicklylocaterelevantrowsinwhereororderbyclauses, terutama sekalimortantforlargeorfrequeriedTables.2.theyspeedupjoinSoSdoSoBes.2

MySqlworkbench menyimpan maklumat sambungan dalam fail konfigurasi sistem. Laluan khusus berbeza mengikut sistem operasi: 1. 2. Ia terletak di ~/Perpustakaan/Applicationsupport/MySQL/Workbench/Connections.xml dalam sistem macOS; 3. Ia biasanya terletak di ~/.mysql/workbench/connections.xml dalam sistem linux atau ~/.local/share/data/mysql/wor
