Cet article explique le terme technique de fréquence de document en fonction de la fréquence (TF-IDF), un outil crucial dans le traitement du langage naturel (NLP) pour analyser les données textuelles. TF-IDF dépasse les limites des approches de base du sac de mots en pondérant les termes en fonction de leur fréquence dans un document et de leur rareté à travers une collection de documents. Cette pondération améliorée améliore la classification du texte et stimule les capacités analytiques des modèles d'apprentissage automatique. Nous allons montrer comment construire un modèle TF-IDF à partir de zéro dans Python et effectuer des calculs numériques.

Table des matières

• Termes clés de TF-IDF
• Fréquence de terme (TF) expliquée
• Fréquence du document (DF) expliqué
• Fréquence de documents inverses (IDF) expliquée
• Comprendre TF-IDF
  • Calcul TF-IDF numérique
  • étape 1: Calcul de la fréquence du terme (TF)
  • étape 2: Calcul de la fréquence des documents inverses (IDF)
  • étape 3: Calcul de TF-IDF
• Implémentation Python à l'aide d'un ensemble de données intégré
  • étape 1: Installation des bibliothèques nécessaires
  • étape 2: Importation de bibliothèques
  • étape 3: Chargement de l'ensemble de données
  • étape 4: Initialisation de TfidfVectorizer
  • étape 5: Documents d'ajustement et de transformation
  • étape 6: Examiner la matrice TF-IDF
• Conclusion
• Questions fréquemment posées

Termes clés de TF-IDF

Avant de continuer, définissons les termes clés:

• T : Terme (mot individuel)
• D : Document (un ensemble de mots)
• N : nombre total de documents dans le corpus
• Corpus : toute la collection de documents

Fréquence de terme (TF) expliquée

La fréquence du terme (TF) quantifie à quelle fréquence un terme appara?t dans un document spécifique. Un TF plus élevé indique une plus grande importance dans ce document. La formule est:

Fréquence du document (DF) expliqué

La fréquence du document (DF) mesure le nombre de documents dans le corpus contenant un terme particulier. Contrairement à TF, il compte la présence d'un terme, pas ses occurrences. La formule est:

Df (t) = nombre de documents contenant le terme t

Fréquence de documents inverses (IDF) expliquée

La fréquence des documents inverses (FDI) évalue l'information d'un mot. Bien que TF traite tous les termes de manière égale, les padons idélissants sont des mots communs (comme les mots d'arrêt) et les termes plus rares. La formule est:

où n est le nombre total de documents et df (t) est le nombre de documents contenant le terme t.

Comprendre TF-IDF

TF-IDF combine la fréquence du terme et la fréquence du document inverse pour déterminer la signification d'un terme dans un document par rapport à l'ensemble du corpus. La formule est:

Calcul TF-IDF numérique

Illustrons le calcul numérique TF-IDF avec des exemples de documents:

Documents:

1. "Le ciel est bleu."
2. ?Le soleil est brillant aujourd'hui.?
3. "Le soleil dans le ciel est brillant."
4. "Nous pouvons voir le soleil brillant, le soleil brillant."

Suivant les étapes décrites dans le texte d'origine, nous calculons TF, IDF, puis TF-IDF pour chaque terme dans chaque document. (Les calculs détaillés sont omis ici par concision, mais ils reflètent l'exemple d'origine.)

Implémentation Python à l'aide d'un ensemble de données intégré

Cette section démontre le calcul TF-IDF à l'aide TfidfVectorizer de Scikit-Learn et de l'ensemble de données de groupes de presse.

étape 1: Installation des bibliothèques nécessaires

 PIP Installer Scikit-Learn

étape 2: Importation de bibliothèques

 Importer des pandas en tant que PD
de sklearn.datasets import fetch_20newsgroups
de sklearn.feature_extraction.Text import tfidfvectorizer

étape 3: Chargement de l'ensemble de données

 Groupes de presse = fetch_20newsgroups (sous-ensemble = 'train')

étape 4: Initialisation de TfidfVectorizer

 vectorizer = tfidfvectorizer (stop_words = 'anglais', max_features = 1000)

étape 5: Documents d'ajustement et de transformation

 tfidf_matrix = vectrizer.fit_transform (newsgroups.data)

étape 6: Examiner la matrice TF-IDF

 df_tfidf = pd.dataframe (tfidf_matrix.toarray (), colonnes = vectrizer.get_feature_names_out ())
df_tfidf.head () 

Conclusion

En utilisant l'ensemble de données de 20 groupes de discussion et TfidfVectorizer , nous transformons efficacement les documents texte en une matrice TF-IDF. Cette matrice représente l'importance de chaque terme, permettant diverses taches NLP comme la classification du texte et le clustering. TfidfVectorizer de Scikit-Learn simplifie considérablement ce processus.

Questions fréquemment posées

La section FAQ reste largement inchangée, abordant la nature logarithmique de la FDI, l'évolutivité aux grands ensembles de données, les limites du TF-IDF (ignorant l'ordre des mots et le contexte) et les applications courantes (moteurs de recherche, classification de texte, clustering, résumé).

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!