国产av日韩一区二区三区精品,成人性爱视频在线观看,国产,欧美,日韩,一区,www.成色av久久成人,2222eeee成人天堂

首頁 資料庫 mysql教程 如何從大型 PostgreSQL 表中有效地選擇隨機(jī)行？

如何從大型 PostgreSQL 表中有效地選擇隨機(jī)行？

Jan 21, 2025 am 05:26 AM

How to Efficiently Select Random Rows from Large PostgreSQL Tables?

PostgreSQL隨機(jī)行選擇方法

處理包含數(shù)百萬甚至數(shù)十億筆記錄的大型表時，傳統(tǒng)的隨機(jī)行選擇方法效率低且速度緩慢。兩種常見方法分別是：

  • 使用random()過濾:

      select * from table where random() < 0.001;

  • 使用order by random()和limit:

      select * from table order by random() limit 1000;

然而，由於需要全表掃描或排序，這些方法對於行數(shù)較多的表並非最佳選擇，會導(dǎo)致效能瓶頸。

大型表的最佳化方法

對於以下類型的表，請考慮以下最佳化方法，其速度明顯更快：

  • 具有少量或中等間隙的數(shù)值ID欄位（已建立索引以加快查找速度）
  • 在選擇過程中沒有或只有最少的寫入操作

查詢：

WITH params AS (
  SELECT 1 AS min_id, -- 可選：自定義最小ID起始值
       5100000 AS id_span -- 近似ID范圍（最大ID - 最小ID + 緩沖）
)
SELECT *
FROM (
  SELECT DISTINCT 1 + trunc(random() * p.id_span)::integer AS id
  FROM params p, generate_series(1, 1100) g
  GROUP BY 1
) r
INNER JOIN big ON r.id = big.id
LIMIT 1000;

工作原理：

  • ID範(fàn)圍估計(jì)：

    • 如果不精確知道，則查詢表以估計(jì)ID列的最小值、最大值和總跨度（最大值 - 最小值）。

  • 隨機(jī)ID產(chǎn)生：

    • 在估計(jì)的ID範(fàn)圍內(nèi)產(chǎn)生一組不同的隨機(jī)數(shù)。

  • 冗餘與重複消除：

    • 將產(chǎn)生的數(shù)字分組以移除重複項(xiàng)，減少選擇缺失行或已選取行的可能性。

  • 表格連接與限制：

    • 使用ID欄位（必須建立索引）將隨機(jī)數(shù)與實(shí)際表連接。此高效連接檢索所選行的相應(yīng)資料。
    • 最後，應(yīng)用限制以檢索所需的行數(shù)。

為什麼它速度快：

  • 最小的索引使用：

    • 查詢僅對ID列執(zhí)行索引掃描，比全表掃描或排序作業(yè)快得多。

  • 最佳化的隨機(jī)數(shù)產(chǎn)生：

    • 產(chǎn)生的隨機(jī)數(shù)分佈在估計(jì)的ID範(fàn)圍內(nèi)，最大限度地減少了缺失或重疊行的可能性。

  • 冗餘與重複消除：

    • 將產(chǎn)生的數(shù)字分組可確保只選擇不同的行，從而減少了消除重複所需的額外過濾或連接。

其他選項(xiàng)：

  • 處理間隙的遞迴CTE：

    • 對於ID序列中存在間隙的表，請?jiān)黾右粋€額外的CTE來處理這些間隙。

  • 函數(shù)包裝器以供重複使用：

    • 定義一個函數(shù)，該函數(shù)採用限制和間隙百分比作為參數(shù)，允許輕鬆配置並與不同的表重用。

  • 任何表格的通用函數(shù)：

    • 建立一個通用函數(shù)，該函數(shù)接受任何具有整數(shù)列的表作為參數(shù)。

  • 物化視野以提高速度：

    • 考慮基於最佳化查詢建立物化視圖，以便更快地檢索（準(zhǔn)）隨機(jī)選擇的行。

  • PostgreSQL 9.5中的TABLE SAMPLE：

    • 利用PostgreSQL的「TABLE SAMPLE SYSTEM」功能，實(shí)現(xiàn)更快但隨機(jī)性較低的行取樣方法，確保傳回精確的行數(shù)。但是，請記住，由於聚集效應(yīng)，樣本可能不是完全隨機(jī)的。

以上是如何從大型 PostgreSQL 表中有效地選擇隨機(jī)行？的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！

本網(wǎng)站聲明
本文內(nèi)容由網(wǎng)友自願投稿，版權(quán)歸原作者所有。本站不承擔(dān)相應(yīng)的法律責(zé)任。如發(fā)現(xiàn)涉嫌抄襲或侵權(quán)的內(nèi)容，請聯(lián)絡(luò)admin@php.cn

熱AI工具

Undress AI Tool

Undress AI Tool

免費(fèi)脫衣圖片

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅(qū)動的應(yīng)用程序，用於創(chuàng)建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費(fèi)的人工智慧換臉工具，輕鬆在任何影片中換臉！

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費(fèi)的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版，非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強(qiáng)大的PHP整合開發(fā)環(huán)境

Dreamweaver CS6

Dreamweaver CS6

視覺化網(wǎng)頁開發(fā)工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

MySQL交易的酸特性是什麼？ MySQL交易的酸特性是什麼？ Jun 20, 2025 am 01:06 AM

MySQL事務(wù)遵循ACID特性，確保數(shù)據(jù)庫事務(wù)的可靠性和一致性。首先，原子性（Atomicity）保證事務(wù)作為不可分割的整體執(zhí)行，要么全部成功，要么全部失敗回滾，例如轉(zhuǎn)賬操作中取款和存款必須同時完成或同時不發(fā)生；其次，一致性（Consistency）確保事務(wù)將數(shù)據(jù)庫從一個有效狀態(tài)轉(zhuǎn)換到另一個有效狀態(tài)，通過約束、觸發(fā)器等機(jī)制保持?jǐn)?shù)據(jù)邏輯正確；第三，隔離性（Isolation）控制多個事務(wù)並發(fā)執(zhí)行時的可見性，防止臟讀、不可重複讀和幻讀，MySQL支持ReadUncommitted、ReadCommi

如何將MySQL bin目錄添加到系統(tǒng)路徑 如何將MySQL bin目錄添加到系統(tǒng)路徑 Jul 01, 2025 am 01:39 AM

要將MySQL的bin目錄添加到系統(tǒng)PATH，需根據(jù)不同操作系統(tǒng)進(jìn)行配置。 1.Windows系統(tǒng)：找到MySQL安裝目錄下的bin文件夾（默認(rèn)路徑通常為C:\ProgramFiles\MySQL\MySQLServerX.X\bin），右鍵“此電腦”→“屬性”→“高級系統(tǒng)設(shè)置”→“環(huán)境變量”，在“系統(tǒng)變量”中選中Path並編輯，新增MySQLbin路徑，保存後重啟命令提示符並輸入mysql--version驗(yàn)證；2.macOS和Linux系統(tǒng)：Bash用戶編輯~/.bashrc或~/.bash_

MySQL中的交易隔離級別是多少？默認(rèn)值是哪個？ MySQL中的交易隔離級別是多少？默認(rèn)值是哪個？ Jun 23, 2025 pm 03:05 PM

MySQL的默認(rèn)事務(wù)隔離級別是可重複讀（RepeatableRead），它通過MVCC和間隙鎖防止臟讀和不可重複讀，並在大多數(shù)情況下避免幻讀；其他主要級別包括讀未提交（ReadUncommitted），允許臟讀但性能最快，1.讀已提交（ReadCommitted）確保讀取已提交數(shù)據(jù)但可能遇到不可重複讀和幻讀，2.可重複讀（RepeatableRead）默認(rèn)級別，保證事務(wù)內(nèi)多次讀取結(jié)果一致，3.串行化（Serializable）最高級別，通過鎖阻止其他事務(wù)修改數(shù)據(jù)，確保數(shù)據(jù)完整性但犧牲性能；可通過

建立與MySQL Server的安全遠(yuǎn)程連接 建立與MySQL Server的安全遠(yuǎn)程連接 Jul 04, 2025 am 01:44 AM

TosecurelyConnectToaremoteMysqlServer，Usesshtunneling，configuremysqlforremoteaccess，setFireWallrules，andConsidersSlencryption 。首先，stardansshtunnelwithssh-l3307：localhost：3306user@remote-Server-server-nandConnectViamySql-h127.0.0.0.0.1-p3307.second，editmys

MySQL WorkBench在哪裡保存連接信息 MySQL WorkBench在哪裡保存連接信息 Jun 26, 2025 am 05:23 AM

MySQLWorkbench將連接信息存儲在系統(tǒng)的配置文件中，具體路徑因操作系統(tǒng)而異：1.Windows系統(tǒng)中位於%APPDATA%\MySQL\Workbench\connections.xml；2.macOS系統(tǒng)中位於~/Library/ApplicationSupport/MySQL/Workbench/connections.xml；3.Linux系統(tǒng)中通常位於~/.mysql/workbench/connections.xml或~/.local/share/data/MySQL/Wor

數(shù)據(jù)庫連接池背後的原理是什麼？ 數(shù)據(jù)庫連接池背後的原理是什麼？ Jun 20, 2025 am 01:07 AM

aconnectionpoolisacacheofdatabaseconnectionsthatarekeptopenandreusedtoImprovefficed.insteadopenofopeningandclosingsconnectionsforeachReachReachReachReachReachReachReachReachReachReachReachReachReackest，theApplicationBorrowsaconNection fromThectionFromThepool，用途

分析MySQL緩慢查詢?nèi)照I以查找性能瓶頸 分析MySQL緩慢查詢?nèi)照I以查找性能瓶頸 Jul 04, 2025 am 02:46 AM

開啟MySQL慢查詢?nèi)罩静⒎治隹啥ㄎ恍阅軉栴}。1.編輯配置文件或動態(tài)設(shè)置slow_query_log和long_query_time；2.日志包含Query_time、Lock_time、Rows_examined等關(guān)鍵字段，輔助判斷效率瓶頸；3.使用mysqldumpslow或pt-query-digest工具高效分析日志；4.優(yōu)化建議包括添加索引、避免SELECT*、拆分復(fù)雜查詢等。例如為user_id加索引能顯著減少掃描行數(shù)，提升查詢效率。

使用mySQL中的mysqldump執(zhí)行邏輯備份 使用mySQL中的mysqldump執(zhí)行邏輯備份 Jul 06, 2025 am 02:55 AM

mysqldump是用於執(zhí)行MySQL數(shù)據(jù)庫邏輯備份的常用工具，它生成包含CREATE和INSERT語句的SQL文件以重建數(shù)據(jù)庫。 1.它不備份原始文件，而是將數(shù)據(jù)庫結(jié)構(gòu)和內(nèi)容轉(zhuǎn)換為可移植的SQL命令；2.適用於小型數(shù)據(jù)庫或選擇性恢復(fù)，不適合TB級數(shù)據(jù)快速恢復(fù)；3.常用選項(xiàng)包括--single-transaction、--databases、--all-databases、--routines等；4.恢復(fù)時使用mysql命令導(dǎo)入，並可關(guān)閉外鍵檢查以提升速度；5.建議定期測試備份、使用壓縮、自動化調(diào)

See all articles