


Comment sélectionner efficacement des lignes aléatoires dans PostgreSQL??
Jan 21, 2025 am 05:32 AMMéthode de sélection de lignes aléatoires efficace PostgreSQL
Pour sélectionner des lignes aléatoires dans PostgreSQL, la meilleure méthode dépend de la taille de la table, des index disponibles et du niveau de caractère aléatoire requis.
Pour une très grande table avec 500 millions de lignes et une colonne d'identifiant numérique (par exemple id)?:
-
Méthode la plus rapide?:
- Utilisez les fonctions CTE et
random()
pour générer des identifiants aléatoires dans l'espace d'identification. - Joignez l'ID généré au tableau en utilisant la colonne id.
- Filtrez les doublons et supprimez les identifiants redondants.
- Utilisez les fonctions CTE et
WITH params AS ( SELECT 1 AS min_id, -- 最小id , 5100000 AS id_span -- 四舍五入。(max_id - min_id + buffer) ) SELECT * FROM ( SELECT p.min_id + trunc(random() * p.id_span)::integer AS id FROM params p , generate_series(1, 1100) g -- 1000 + buffer GROUP BY 1 -- 去除重復(fù)項(xiàng) ) r JOIN big USING (id) LIMIT 1000; -- 去除多余項(xiàng)
-
Méthode d'amélioration?:
- Utilisez le CTE récursif (
random_pick
) pour éliminer toute lacune dans l'espace d'identification. - Fusionnez les résultats récursifs pour éliminer les doublons.
- Appliquer externe
LIMIT
pour satisfaire les contraintes.
- Utilisez le CTE récursif (
WITH RECURSIVE random_pick AS ( SELECT * FROM ( SELECT 1 + trunc(random() * 5100000)::int AS id FROM generate_series(1, 1030) -- 1000 + 百分之幾 - 根據(jù)需要調(diào)整 LIMIT 1030 -- 查詢規(guī)劃器提示 ) r JOIN big b USING (id) -- 消除缺失 UNION -- 消除重復(fù)項(xiàng) SELECT b.* FROM ( SELECT 1 + trunc(random() * 5100000)::int AS id FROM random_pick r -- 加上百分之三 - 根據(jù)需要調(diào)整 LIMIT 999 -- 小于1000,查詢規(guī)劃器提示 ) r JOIN big b USING (id) -- 消除缺失 ) TABLE random_pick LIMIT 1000; -- 實(shí)際限制
-
Fonctions générales?:
- Enveloppez les requêtes ci-dessus dans une fonction afin qu'elles puissent être réutilisées pour n'importe quelle table avec des colonnes entières uniques.
CREATE OR REPLACE FUNCTION f_random_sample(_tbl_type anyelement , _id text = 'id' , _limit int = 1000 , _gaps real = 1.03) RETURNS SETOF anyelement LANGUAGE plpgsql VOLATILE ROWS 1000 AS $func$ DECLARE _tbl text := pg_typeof(_tbl_type)::text; _estimate int := (...); BEGIN RETURN QUERY EXECUTE format( $$ WITH RECURSIVE random_pick AS ( SELECT ... FROM ... ... ) TABLE random_pick LIMIT ; $$ , _tbl, _id ) USING (...); END $func$;
Pour les scénarios qui ne nécessitent pas de hasard précis ni d'appels répétés?:
-
Vue matérialisée?:
- Créez une vue matérialisée pour stocker des lignes sélectionnées de manière approximativement aléatoire.
- Actualisez périodiquement les vues matérialisées.
-
TABLESAMPLE SYSTEM (n)
?:- Introduit dans PostgreSQL 9.5,
TABLESAMPLE SYSTEM (n)
fournit une méthode d'échantillonnage aléatoire rapide et inexacte.
Le paramètre n
représente le pourcentage de tables à échantillonner.
- Introduit dans PostgreSQL 9.5,
SELECT * FROM big TABLESAMPLE SYSTEM ((1000 * 100) / 5100000.0);
Autres notes?:
- Pour de meilleures performances, utilisez un index sur la colonne ID.
- Les fonctions
random()
de PostgreSQL ne sont pas sécurisées cryptographiquement. - L'approche proposée offre un degré élevé de caractère aléatoire pour la plupart des cas d'utilisation pratiques.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Outils d'IA chauds

Undress AI Tool
Images de déshabillage gratuites

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Clothoff.io
Dissolvant de vêtements AI

Video Face Swap
échangez les visages dans n'importe quelle vidéo sans effort grace à notre outil d'échange de visage AI entièrement gratuit?!

Article chaud

Outils chauds

Bloc-notes++7.3.1
éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Sujets chauds

GTID (Global Transaction Identifier) ??résout la complexité de la réplication et du basculement dans les bases de données MySQL en attribuant une identité unique à chaque transaction. 1. Il simplifie la gestion de la réplication, gère automatiquement les fichiers journaux et les emplacements, permettant aux serveurs esclaves de demander des transactions en fonction du dernier GTID exécuté. 2. Assurer la cohérence entre les serveurs, assurer que chaque transaction n'est appliquée qu'une seule fois sur chaque serveur et éviter l'incohérence des données. 3. Améliorer l'efficacité du dépannage. GTID comprend le serveur UUID et le numéro de série, ce qui est pratique pour le suivi du flux de transactions et localiser avec précision les problèmes. Ces trois avantages de base rendent la réplication MySQL plus robuste et plus facile à gérer, améliorant considérablement la fiabilité du système et l'intégrité des données.

Le basculement de la bibliothèque principale MySQL comprend principalement quatre étapes. 1. Détection des défauts: Vérifiez régulièrement le processus principal de la bibliothèque, l'état de la connexion et la requête simple pour déterminer s'il s'agit de temps d'arrêt, de configurer un mécanisme de réessayer pour éviter une erreur de jugement et peut utiliser des outils tels que MHA, Orchestrator ou Keepalived pour aider à la détection; 2. Sélectionnez la nouvelle bibliothèque principale: sélectionnez la bibliothèque d'esclaves la plus appropriée pour les remplacer en fonction de la progression de la synchronisation des données (seconds_behind_master), de l'intégrité des données du binlog, du retard du réseau et des conditions de charge, et effectuez une compensation de données ou une intervention manuelle si nécessaire; 3. Commutation topologie: pointez les autres bibliothèques d'esclaves à la nouvelle bibliothèque ma?tre, exécutez Resetmaster ou activez GTID, mettez à jour le VIP, DNS ou la configuration proxy pour

Les étapes pour se connecter à la base de données MySQL sont les suivantes: 1. Utilisez le format de commande de base MySQL-U Username-P-H Host Adresse pour connecter, entrez le nom d'utilisateur et le mot de passe pour se connecter; 2. Si vous devez entrer directement la base de données spécifiée, vous pouvez ajouter le nom de la base de données après la commande, telle que MySQL-UROot-PmyProject; 3. Si le port n'est pas le 3306 par défaut, vous devez ajouter le paramètre -p pour spécifier le numéro de port, tel que MySQL-Uroot-P-H192.168.1.100-P3307; De plus, si vous rencontrez une erreur de mot de passe, vous pouvez la réintégrer. Si la connexion échoue, vérifiez le réseau, le pare-feu ou les paramètres d'autorisation. Si le client est manquant, vous pouvez installer MySQL-Client sur Linux via le gestionnaire de packages. Ma?tre ces commandes

INNODB est le moteur de stockage par défaut de MySQL car il surpasse les autres moteurs tels que Myisam en termes de fiabilité, de performances de concurrence et de récupération de crash. 1. Il prend en charge le traitement des transactions, suit les principes acides, assure l'intégrité des données et convient aux scénarios de données clés tels que les enregistrements financiers ou les comptes d'utilisateurs; 2. Il adopte les verrous au niveau des lignes au lieu des verrous au niveau du tableau pour améliorer les performances et le débit dans des environnements d'écriture élevés élevés; 3. Il a un mécanisme de récupération de collision et une fonction de réparation automatique, et prend en charge les contraintes de clé étrangère pour garantir la cohérence des données et l'intégrité de référence, et empêcher les enregistrements isolés et les incohérences de données.

Pour ajouter le répertoire bac de MySQL au chemin du système, il doit être configuré en fonction des différents systèmes d'exploitation. 1. Système Windows: Trouvez le dossier bin dans le répertoire d'installation MySQL (le chemin par défaut est généralement C: \ ProgramFiles \ MySQL \ MySQLServerx.x \ bin), cliquez avec le bouton droit "Cet ordinateur" → "Propriétés" → "Paramètres du système avancé" Invite et entrez MySQL - Vérification de Version; 2.Macos et Linux Systèmes: les utilisateurs bash modifient ~ / .bashrc ou ~ / .bash_

Le niveau d'isolement des transactions par défaut de MySQL est RepeatableRead, qui empêche les lectures sales et les lectures non répétibles via MVCC et les serrures d'écart, et évite la lecture fant?me dans la plupart des cas; other major levels include read uncommitted (ReadUncommitted), allowing dirty reads but the fastest performance, 1. Read Committed (ReadCommitted) ensures that the submitted data is read but may encounter non-repeatable reads and phantom readings, 2. RepeatableRead default level ensures that multiple reads within the transaction are consistent, 3. Serialization (Serializable) the highest level, prevents other transactions from modifying data through locks, ensuring data intégrité mais sacrifier les performances;

Les transactions MySQL suivent les caractéristiques acides pour assurer la fiabilité et la cohérence des transactions de base de données. Premièrement, l'atomicité garantit que les transactions sont exécutées comme un ensemble indivisible, soit tous réussissent ou que tous ne reculent pas. Par exemple, les retraits et les dép?ts doivent être achevés ou ne se produisent pas en même temps dans l'opération de transfert; Deuxièmement, la cohérence garantit que les transactions transitionnent la base de données d'un état valide à un autre et maintient la logique de données correcte via des mécanismes tels que les contraintes et les déclencheurs; Troisièmement, l'isolement contr?le la visibilité des transactions multiples lors de l'exécution simultanée, empêche la lecture sale, la lecture non répétée et la lecture fantastique. MySQL prend en charge ReadUnCommit et ReadCommi.

IndexesinmysqlimprovequeryspeedByenablefasterDatareTevieval.1.ETHEYRODEDATACALNED, permettant à la manière dont la propriété est en particulier d'importance.
