この記事では、テキストデータを分析するための自然言語処理（NLP）の重要なツールである周波數(shù)逆文書頻度（TF-IDF）手法について説明します。 TF-IDFは、ドキュメント內(nèi)の頻度とドキュメントのコレクション全體にわたって希少性に基づいて項を重み付けすることにより、基本的な言葉の袋のアプローチの制限を上回ります。この強化された重み付けにより、テキスト分類が改善され、機械學習モデルの分析機能が向上します。 TF-IDFモデルをPythonでゼロから構(gòu)築し、數(shù)値計算を?qū)g行する方法を示します。

目次

• TF-IDFの重要な用語
• 用語頻度（TF）が説明しました
• ドキュメント頻度（DF）が説明しました
• 逆ドキュメント頻度（IDF）が説明しました
• TF-IDFの理解
  • 數(shù)値TF-IDF計算
  • ステップ1：ターム周波數(shù)の計算（TF）
  • ステップ2：逆ドキュメント頻度の計算（IDF）
  • ステップ3：TF-IDFの計算
• 內(nèi)蔵データセットを使用したPython実裝
  • ステップ1：必要なライブラリのインストール
  • ステップ2：ライブラリのインポート
  • ステップ3：データセットのロード
  • ステップ4： TfidfVectorizerの初期化
  • ステップ5：ドキュメントの取り付けと変換
  • ステップ6：TF-IDFマトリックスの検査
• 結(jié)論
• よくある質(zhì)問

TF-IDFの重要な用語

先に進む前に、重要な用語を定義しましょう。

• T ：用語（個々の単語）
• D ：ドキュメント（単語のセット）
• N ：コーパス內(nèi)のドキュメントの総數(shù)
• コーパス：ドキュメントのコレクション全體

用語頻度（TF）が説明しました

用語頻度（TF）は、特定のドキュメントに用語が表示される頻度を定量化します。より高いTFは、そのドキュメント內(nèi)でより重要性を示しています。式は次のとおりです。

ドキュメント頻度（DF）が説明しました

ドキュメント頻度（DF）は、特定の用語を含むコーパス內(nèi)のドキュメントの數(shù)を測定します。 TFとは異なり、その発生ではなく、用語の存在をカウントします。式は次のとおりです。

df（t）=用語tを含むドキュメントの數(shù)

逆ドキュメント頻度（IDF）が説明しました

逆ドキュメント頻度（IDF）は、単語の情報性を評価します。 TFはすべての用語を平等に扱いますが、IDFのダウンウェイトは一般的な単語（停止単語など）と高級の希少な用語を扱います。式は次のとおりです。

ここで、nはドキュメントの総數(shù)とdf（t）は、用語tを含むドキュメントの數(shù)です。

TF-IDFの理解

TF-IDFは、用語頻度と逆文書頻度を組み合わせて、コーパス全體に比べてドキュメント內(nèi)の用語の重要性を決定します。式は次のとおりです。

數(shù)値TF-IDF計算

例のドキュメントを使用して、數(shù)値TF-IDF計算を説明しましょう。

文書：

1. 「空は青い。」
2. 「今日の太陽は明るいです。」
3. 「空の太陽は明るいです?！?/li>
4. 「輝く太陽、明るい太陽が見えます。」

元のテキストで概説されている手順に従って、各ドキュメントの各用語のTF、IDF、およびTF-IDFを計算します。 （Brevityのために詳細な計算はここでは省略されていますが、元の例を反映しています。）

內(nèi)蔵データセットを使用したPython実裝

このセクションでは、SCIKIT-LEARNのTfidfVectorizerおよび20のNewsGroups Datasetを使用したTF-IDF計算を示します。

ステップ1：必要なライブラリのインストール

ピップインストールScikit-Learn

ステップ2：ライブラリのインポート

PDとしてパンダをインポートします
sklearn.datasetsからfetch_20newsgroupsをインポートします
Sklearn.feature_extraction.textからtfidfvectorizerをインポートします

ステップ3：データセットのロード

newsgroups = fetch_20newsgroups（subset = 'train'）

ステップ4： TfidfVectorizerの初期化

vectorizer = tfidfvectorizer（stop_words = 'inglish'、max_features = 1000）

ステップ5：ドキュメントの取り付けと変換

tfidf_matrix = vectorizer.fit_transform（newsgroups.data）

ステップ6：TF-IDFマトリックスの検査

df_tfidf = pd.dataframe（tfidf_matrix.toarray（）、columns = vectorizer.get_feature_names_out（）））
df_tfidf.head（） 

結(jié)論

20のNewsGroups DatasetとTfidfVectorizerを使用して、テキストドキュメントをTF-IDFマトリックスに効率的に変換します。このマトリックスは、各用語の重要性を表し、テキスト分類やクラスタリングなどのさまざまなNLPタスクを可能にします。 Scikit-LearnのTfidfVectorizer 、このプロセスを大幅に簡素化します。

よくある質(zhì)問

FAQSセクションは、IDFの対數(shù)性、大規(guī)模なデータセットへのスケーラビリティ、TF-IDFの制限（語順とコンテキストを無視）、および一般的なアプリケーション（検索エンジン、テキスト分類、クラスタリング、要約）の制限に対処することはほとんど変わらないままです。

以上がTFIDFVectorizerを使用して、テキストドキュメントをTF-IDFマトリックスに変換しますの詳細內(nèi)容です。詳細については、PHP 中國語 Web サイトの他の関連記事を參照してください。