從大型PostgreSQL表中選擇隨機行
處理大型資料集時，選擇隨機行可能是一項計算密集型任務(wù)。本文探討了從包含約 5 億行的表中檢索隨機行的各種方法，並討論了它們的性能和準(zhǔn)確性。
方法一：使用 RANDOM() 和 LIMIT
第一種方法包括使用 RANDOM() 函數(shù)產(chǎn)生隨機數(shù)，然後使用 LIMIT 子句過濾結(jié)果以取得所需數(shù)量的行。
SELECT * FROM table WHERE RANDOM() < 0.000002 LIMIT 1000;
這種方法的優(yōu)點是易於實現(xiàn)，但對於大型表來說效率可能很低。由於使用了 LIMIT 子句，資料庫必須掃描表格的全部行才能挑選隨機行並丟棄其餘行。
方法二：使用 ORDER BY RANDOM() 和 LIMIT
另一種方法是先按 RANDOM() 函數(shù)對行進行排序，然後使用 LIMIT 子句取得隨機行。
SELECT * FROM table ORDER BY RANDOM() LIMIT 1000;
這種方法與第一種方法類似，但排序保證更有效地選擇隨機行。它減少了所需的掃描次數(shù)，使其成為大型表的更好選擇。但是，對於行數(shù)極多的表，它仍然不是最佳選擇。
高效方法：使用數(shù)字 ID 欄位和索引
對於具有數(shù)字 ID 列且間隙較少的表，可以使用更有效的方法。這涉及在 ID 範(fàn)圍內(nèi)產(chǎn)生隨機數(shù)字並將其用於與表連接。
WITH params AS (
SELECT 1 AS min_id, -- 最小 ID <= 當(dāng)前最小 ID
5100000 AS id_span -- 四舍五入。(max_id - min_id + buffer)
)
SELECT *
FROM (
SELECT p.min_id + trunc(random() * p.id_span)::integer AS id
FROM params p, generate_series(1, 1100) g -- 1000 + buffer
GROUP BY 1 -- 去除重復(fù)項
) r
JOIN table USING (id)
LIMIT 1000;
這種方法利用索引存取來顯著減少所需的掃描次數(shù)。它非常適合具有大量行且 ID 列中間隙較少的表。
考慮因素與建議
選擇隨機行的最佳方法取決於特定的表特徵和性能要求。對於小型表，RANDOM() 或 ORDER BY RANDOM() 方法可能就足夠了。但是，對於具有數(shù)字 ID 列且間隙較少的大型表，建議使用上述最佳化方法以獲得最佳效能。
要注意的是，由於電腦中偽隨機數(shù)產(chǎn)生的性質(zhì)，這些方法都不能保證真正的隨機性。但是，它們提供了一種從大型表中以合理的效率和準(zhǔn)確性獲取隨機行樣本的實用方法。
以上是如何從大型 PostgreSQL 表中有效地選擇隨機行？的詳細內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！
熱AI工具
Undress AI Tool
免費脫衣圖片
Undresser.AI Undress
人工智慧驅(qū)動的應(yīng)用程序，用於創(chuàng)建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Clothoff.io
AI脫衣器
Video Face Swap
使用我們完全免費的人工智慧換臉工具，輕鬆在任何影片中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費的程式碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
強大的PHP整合開發(fā)環(huán)境
Dreamweaver CS6
視覺化網(wǎng)頁開發(fā)工具
SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)
熱門話題
MySQL交易的酸特性是什麼？
Jun 20, 2025 am 01:06 AM
MySQL事務(wù)遵循ACID特性，確保數(shù)據(jù)庫事務(wù)的可靠性和一致性。首先，原子性（Atomicity）保證事務(wù)作為不可分割的整體執(zhí)行，要么全部成功，要么全部失敗回滾，例如轉(zhuǎn)賬操作中取款和存款必須同時完成或同時不發(fā)生；其次，一致性（Consistency）確保事務(wù)將數(shù)據(jù)庫從一個有效狀態(tài)轉(zhuǎn)換到另一個有效狀態(tài)，通過約束、觸發(fā)器等機制保持?jǐn)?shù)據(jù)邏輯正確；第三，隔離性（Isolation）控制多個事務(wù)並發(fā)執(zhí)行時的可見性，防止臟讀、不可重複讀和幻讀，MySQL支持ReadUncommitted、ReadCommi
MySQL中的交易隔離級別是多少？默認值是哪個？
Jun 23, 2025 pm 03:05 PM
MySQL的默認事務(wù)隔離級別是可重複讀（RepeatableRead），它通過MVCC和間隙鎖防止臟讀和不可重複讀，並在大多數(shù)情況下避免幻讀；其他主要級別包括讀未提交（ReadUncommitted），允許臟讀但性能最快，1.讀已提交（ReadCommitted）確保讀取已提交數(shù)據(jù)但可能遇到不可重複讀和幻讀，2.可重複讀（RepeatableRead）默認級別，保證事務(wù)內(nèi)多次讀取結(jié)果一致，3.串行化（Serializable）最高級別，通過鎖阻止其他事務(wù)修改數(shù)據(jù)，確保數(shù)據(jù)完整性但犧牲性能；可通過
如何將MySQL bin目錄添加到系統(tǒng)路徑
Jul 01, 2025 am 01:39 AM
要將MySQL的bin目錄添加到系統(tǒng)PATH，需根據(jù)不同操作系統(tǒng)進行配置。 1.Windows系統(tǒng)：找到MySQL安裝目錄下的bin文件夾（默認路徑通常為C:\ProgramFiles\MySQL\MySQLServerX.X\bin），右鍵“此電腦”→“屬性”→“高級系統(tǒng)設(shè)置”→“環(huán)境變量”，在“系統(tǒng)變量”中選中Path並編輯，新增MySQLbin路徑，保存後重啟命令提示符並輸入mysql--version驗證；2.macOS和Linux系統(tǒng)：Bash用戶編輯~/.bashrc或~/.bash_
建立與MySQL Server的安全遠程連接
Jul 04, 2025 am 01:44 AM
TosecurelyConnectToaremoteMysqlServer，Usesshtunneling，configuremysqlforremoteaccess，setFireWallrules，andConsidersSlencryption 。首先，stardansshtunnelwithssh-l3307：localhost：3306user@remote-Server-server-nandConnectViamySql-h127.0.0.0.0.1-p3307.second，editmys
MySQL WorkBench在哪裡保存連接信息
Jun 26, 2025 am 05:23 AM
MySQLWorkbench將連接信息存儲在系統(tǒng)的配置文件中，具體路徑因操作系統(tǒng)而異：1.Windows系統(tǒng)中位於%APPDATA%\MySQL\Workbench\connections.xml；2.macOS系統(tǒng)中位於~/Library/ApplicationSupport/MySQL/Workbench/connections.xml；3.Linux系統(tǒng)中通常位於~/.mysql/workbench/connections.xml或~/.local/share/data/MySQL/Wor
數(shù)據(jù)庫連接池背後的原理是什麼？
Jun 20, 2025 am 01:07 AM
aconnectionpoolisacacheofdatabaseconnectionsthatarekeptopenandreusedtoImprovefficed.insteadopenofopeningandclosingsconnectionsforeachReachReachReachReachReachReachReachReachReachReachReachReachReackest，theApplicationBorrowsaconNection fromThectionFromThepool，用途
分析MySQL緩慢查詢?nèi)照I以查找性能瓶頸
Jul 04, 2025 am 02:46 AM
開啟MySQL慢查詢?nèi)罩静⒎治隹啥ㄎ恍阅軉栴}。1.編輯配置文件或動態(tài)設(shè)置slow_query_log和long_query_time；2.日志包含Query_time、Lock_time、Rows_examined等關(guān)鍵字段，輔助判斷效率瓶頸；3.使用mysqldumpslow或pt-query-digest工具高效分析日志；4.優(yōu)化建議包括添加索引、避免SELECT*、拆分復(fù)雜查詢等。例如為user_id加索引能顯著減少掃描行數(shù)，提升查詢效率。
使用mySQL中的mysqldump執(zhí)行邏輯備份
Jul 06, 2025 am 02:55 AM
mysqldump是用於執(zhí)行MySQL數(shù)據(jù)庫邏輯備份的常用工具，它生成包含CREATE和INSERT語句的SQL文件以重建數(shù)據(jù)庫。 1.它不備份原始文件，而是將數(shù)據(jù)庫結(jié)構(gòu)和內(nèi)容轉(zhuǎn)換為可移植的SQL命令；2.適用於小型數(shù)據(jù)庫或選擇性恢復(fù)，不適合TB級數(shù)據(jù)快速恢復(fù)；3.常用選項包括--single-transaction、--databases、--all-databases、--routines等；4.恢復(fù)時使用mysql命令導(dǎo)入，並可關(guān)閉外鍵檢查以提升速度；5.建議定期測試備份、使用壓縮、自動化調(diào)
