今日の世界では、ソーシャルメディアのコメント、閲覧履歴、顧客フィードバックなどのテキストデータなど、大量のデータが構(gòu)造化されていません。大規(guī)模なテキストデータに直面して、どこで分析を開始するかわかりませんか？ PythonのNatural Language Processing（NLP）テクノロジーが役立ちます！

このチュートリアルは、NLPのコアコンセプトを使用し、Pythonのテキストデータを分析するようにガイドするように設(shè)計(jì)されています。テキストを小さなユニット（単語変態(tài)）に分解し、単語をSTEM形式（STEM抽出と形態(tài)學(xué)的回復(fù)）に正規(guī)化する方法と、さらなる分析の準(zhǔn)備のためにドキュメントをクリーンアップする方法を?qū)Wびます。

始めましょう！

コアポイント

• PythonのNatural Language Processing（NLP）には、単語要素にテキストを壊し、単語をSTEM形式に正規(guī)化し、さらに分析するためのクリーニングドキュメントが含まれます。 PythonのNLTKライブラリを使用して、これらの操作を?qū)g行します。
• 単語を幹形式に変換するための2つの手法は、STEM抽出と語彙形式の復(fù)元です。 STEM抽出は、単語の補(bǔ)完原理を削除する?yún)g純なアルゴリズムです。
NLPでのデータのクリーニングには、句読點(diǎn)や停止単語（「i」、「a」、「the」などの一般的な単語など）を削除します。これらの単語は、テキストを分析するときにほとんど意味がないためです。
テキストをクリーニングした後、nltkの
• クラスを使用して単語頻度を見つけることができます。これは、テキストで一般的な用語を見つけるのに非常に便利です。 FreqDist

予防策 このチュートリアルでは、PythonのNLTKライブラリを使用して、テキスト上のすべてのNLP操作を?qū)g行します。このチュートリアルを書くとき、NLTKバージョン3.4を使用していました。端末にPIPコマンドを使用してライブラリをインストールできます。

システムにインストールされているNLTKバージョンを確認(rèn)するには、ライブラリをPythonインタープリターにインポートしてバージョンを確認(rèn)できます。

pip install nltk==3.4

ただし、チュートリアルの後期段階でリソースを1つずつダウンロードしないようにしたい場合は、すべてのリソースを一度にダウンロードできます。

import nltk
print(nltk.__version__)

ステップ1：単語変態(tài)

python -m nltk.downloader all

関數(shù)を使用して文字列を語彙要素に変換できます。ただし、最初にPunktリソースをダウンロードする必要があります。ターミナルで次のコマンドを?qū)g行します：

から

word_tokenize()コードの出力は次のとおりです。

pip install nltk==3.4

は、スペースに基づいて文字列を分割するだけでなく、句読點(diǎn)を単語要素に分離することに気付くでしょう。句読點(diǎn)を維持または削除することは、分析のニーズに依存します。 word_tokenize

ステップ2：単語をSTEMフォームに変換します

からnltk.stem.porterをインポートします。次に、ステムを初期化してPorterStemmer変數(shù)に抽出し、次にstemmerメソッドを使用して、次の単語の莖の形を見つけます。 .stem()

import nltk
print(nltk.__version__)

たとえば、「構(gòu)成」という単語に莖の抽出器を使用しようとすると、直感的ではありません。

出力が「構(gòu)成」であることに気付くでしょう。

python -m nltk.downloader all

クラスを使用して、文の形態(tài)學(xué)的回復(fù)を?qū)g行できます。

最初に、PythonターミナルのNLTKダウンローダーからWordNetリソースをダウンロードする必要があります。 WordNetLemmatizer

クラスをインポートして初期化する必要があります。

nltk.download('punkt')

メソッドを使用します。単語とコンテキストの2つのパラメーターを受け入れます。この例では、「V」をコンテキストとして使用します。 WordNetLemmatizerメソッドの出力を表示した後、コンテキストをさらに検討します。

from nltk.tokenize import word_tokenize
print(word_tokenize("Hi, this is a nice hotel."))

メソッドは、「構(gòu)成」という単語をその莖形式「構(gòu)成」に正しく変換することに気付くでしょう。また、アルゴリズムがより複雑であるため、単語の形狀の復(fù)元がステミング抽出よりも時(shí)間がかかることに気付くでしょう。 .lemmatize()

.lemmatize()メソッドの2番目のパラメーターをプログラム的に決定する方法を確認(rèn)しましょう。 nltkには、文の単語のコンテキストを決定するのに役立つpos_tag()関數(shù)があります。ただし、最初にaveraged_perceptron_taggerリソースをダウンロードする必要があります：

pip install nltk==3.4

次に、pos_tag()関數(shù)をインポートして、文で実行します：

import nltk
print(nltk.__version__)

出力がペアリストであることに気付くでしょう。各ペアには、テキスト全體の単語要素のコンテキストを表す単語要素とそのタグが含まれています。句読點(diǎn)のラベル自體は次のとおりです。

python -m nltk.downloader all

メソッドの2番目のパラメーターで使用できます。 .lemmatize()

nltk.download('punkt')

この出力は予想通りであり、「構(gòu)成」と「治安判事」はそれぞれ「構(gòu)成」と「治安判事」に変換されます。

from nltk.tokenize import word_tokenize
print(word_tokenize("Hi, this is a nice hotel."))

ステップ3：データのクリーニング

データを準(zhǔn)備する次のステップは、データをクリーンアップし、分析に意味を追加しないものを削除することです。全體として、句読點(diǎn)と停止単語を分析から削除する方法について説明します。

ライブラリの

stringこのコードスニペットの出力は次のとおりです。 punctuation

<code>['Hi', ',', 'this', 'is', 'a', 'nice', 'hotel', '.']</code>

次に、停止単語を削除する方法に焦點(diǎn)を當(dāng)てます。停止単語は、「i」、「a」、「the」などの言語で一般的に使用される?yún)g語であり、テキストを分析するとき、これらの単語はほとんど意味を與えません。したがって、分析から停止単語を削除します。まず、NLTKダウンローダーからStopwordsリソースをダウンロード：

from nltk.stem.porter import PorterStemmer
stemmer = PorterStemmer()
print(stemmer.stem("going"))

print(stemmer.stem("constitutes"))

nltk.download('wordnet')

pip install nltk==3.4

import nltk
print(nltk.__version__)

python -m nltk.downloader all