Elasticsearch 中文搜索：分析器與最佳實(shí)踐

Elasticsearch 的內(nèi)容索引中，分析和詞元化至關(guān)重要，尤其處理非英語(yǔ)語(yǔ)言時(shí)。對(duì)於中文，由於漢字的特性以及詞句之間缺乏空格，這一過(guò)程更為複雜。

本文探討 Elasticsearch 中分析中文內(nèi)容的幾種方案，包括默認(rèn)的中文分析器、paoding 插件、cjk 分析器、smartcn 分析器和 ICU 插件，並分析其優(yōu)缺點(diǎn)及適用場(chǎng)景。

中文搜索的挑戰(zhàn)

漢字是表意文字，代表一個(gè)詞或語(yǔ)素（語(yǔ)言中最小的有意義單位）。組合在一起，其含義會(huì)發(fā)生變化，代表一個(gè)全新的詞。另一個(gè)難點(diǎn)是詞句之間沒(méi)有空格，這使得計(jì)算機(jī)很難知道一個(gè)詞從哪裡開(kāi)始，到哪裡結(jié)束。

即使只考慮普通話（中國(guó)官方語(yǔ)言，也是世界上使用最廣泛的漢語(yǔ)），也有數(shù)萬(wàn)個(gè)漢字，即使實(shí)際書(shū)面漢語(yǔ)只需要認(rèn)識(shí)三千到四千個(gè)漢字。例如，“火山”（火山）實(shí)際上是以下兩個(gè)漢字的組合：

• 火：火
• 山：山

我們的分詞器必須足夠聰明，避免將這兩個(gè)漢字分開(kāi)，因?yàn)樗鼈兘M合在一起的意義與分開(kāi)時(shí)不同。

另一個(gè)難點(diǎn)是使用的拼寫(xiě)變體：

• 簡(jiǎn)體中文：書(shū)法
• 繁體中文，更複雜、更豐富：書(shū)法
• 拼音，普通話的羅馬化形式：shū fǎ

Elasticsearch 中的中文分析器

目前，Elasticsearch 提供以下幾種中文分析器：

• 默認(rèn)的 Chinese 分析器，基於 Lucene 4 中已棄用的類；
• paoding 插件，雖然不再維護(hù)，但基於非常好的詞典；
• cjk 分析器，它對(duì)內(nèi)容進(jìn)行二元組化；
• smartcn 分析器，一個(gè)官方支持的插件；
• ICU 插件及其分詞器。

這些分析器的差異很大，我們將通過(guò)一個(gè)簡(jiǎn)單的測(cè)試詞“手機(jī)”來(lái)比較它們的性能。 “手機(jī)”的意思是“手機(jī)”，它由兩個(gè)漢字組成，分別表示“手”和“機(jī)”。 “機(jī)”字還構(gòu)成許多其他詞：

• 機(jī)票：機(jī)票
• 機(jī)器人：機(jī)器人
• 機(jī)槍：機(jī)槍
• 機(jī)遇：機(jī)遇

我們的分詞不能拆分這些漢字，因?yàn)槿绻宜阉鳌笆謾C(jī)”，我不希望出現(xiàn)關(guān)於 Rambo 擁有機(jī)槍的任何文檔。

我們將使用強(qiáng)大的 _analyze API 測(cè)試這些方案：

curl -XGET 'http://localhost:9200/chinese_test/_analyze?analyzer=paoding_analyzer1' -d '手機(jī)'

• 默認(rèn)的 Chinese 分析器: 它只將所有漢字分成詞元。因此，我們得到兩個(gè)詞元：手和機(jī)。 Elasticsearch 的 standard 分析器產(chǎn)生完全相同的輸出。因此，Chinese 已棄用，很快將被 standard 取代，應(yīng)避免使用。

• paoding 插件: paoding 幾乎是行業(yè)標(biāo)準(zhǔn)，被認(rèn)為是一種優(yōu)雅的解決方案。不幸的是，Elasticsearch 的插件沒(méi)有維護(hù)，我只能在經(jīng)過(guò)一些修改後才能在 1.0.1 版本上運(yùn)行它。 （安裝步驟略，原文已提供）安裝後，我們得到了一個(gè)新的 paoding 分詞器和兩個(gè)收集器：max_word_len 和 most_word。默認(rèn)情況下沒(méi)有公開(kāi)分析器，因此我們必須聲明一個(gè)新的分析器。 （配置步驟略，原文已提供）兩種配置都提供了良好的結(jié)果，具有清晰且唯一的詞元。在處理更複雜的句子時(shí)，其行為也非常好。

• cjk 分析器: 非常簡(jiǎn)單的分析器，它只將任何文本轉(zhuǎn)換成二元組。 “手機(jī)”只索引手機(jī)，效果不錯(cuò)，但如果我們使用更長(zhǎng)的詞，例如“元宵節(jié)”（元宵節(jié)），則會(huì)生成兩個(gè)詞元：元宵和宵節(jié)，分別表示“元宵”和“宵節(jié)”。

• smartcn 插件: 非常易於安裝。 （安裝步驟略，原文已提供）它公開(kāi)了一個(gè)新的 smartcn 分析器，以及 smartcn_tokenizer 分詞器，使用 Lucene 的 SmartChineseAnalyzer。它使用概率套件來(lái)查找單詞的最佳分割，使用隱馬爾可夫模型和大量的訓(xùn)練文本。因此，已經(jīng)嵌入了一個(gè)相當(dāng)好的訓(xùn)練詞典——我們的示例被正確地分詞了。

• ICU 插件: 另一個(gè)官方插件。 （安裝步驟略，原文已提供）如果您處理任何非英語(yǔ)語(yǔ)言，建議使用此插件。它公開(kāi)了一個(gè) icu_tokenizer 分詞器，以及許多強(qiáng)大的分析工具，如 icu_normalizer、icu_folding、icu_collation 等。它使用中文和日文字典，其中包含有關(guān)詞頻的信息，以推斷漢字組。在“手機(jī)”上，一切正常，並且按預(yù)期工作，但在“元宵節(jié)”上，會(huì)產(chǎn)生兩個(gè)詞元：元宵和節(jié)——這是因?yàn)椤霸焙汀肮?jié)”比“元宵節(jié)”更常見(jiàn)。

結(jié)果比較 (表格略，原文已提供)

從我的角度來(lái)看，paoding 和 smartcn 獲得了最佳結(jié)果。 chinese 分詞器非常糟糕，icu_tokenizer 在“元宵節(jié)”上有點(diǎn)令人失望，但在處理繁體中文方面表現(xiàn)非常好。

繁體中文支持

您可能需要處理來(lái)自文檔或用戶搜索請(qǐng)求的繁體中文。您需要一個(gè)規(guī)範(fàn)化步驟將這些繁體輸入轉(zhuǎn)換為現(xiàn)代中文，因?yàn)橄?smartcn 或 paoding 這樣的插件無(wú)法正確處理它。

您可以通過(guò)您的應(yīng)用程序進(jìn)行處理，或者嘗試使用 elasticsearch-analysis-stconvert 插件直接在 Elasticsearch 中進(jìn)行處理。它可以雙向轉(zhuǎn)換繁體字和簡(jiǎn)體字。 （安裝步驟略，原文已提供）

最後一種解決方案是使用 cjk：如果您無(wú)法正確分詞輸入，您仍然很有可能捕獲所需的文檔，然後使用 icu_tokenizer（也相當(dāng)好）來(lái)提高相關(guān)性。

進(jìn)一步的改進(jìn)

對(duì)於 Elasticsearch 的分析，沒(méi)有完美的萬(wàn)能解決方案，中文也不例外。您必鬚根據(jù)獲得的信息來(lái)組合和構(gòu)建自己的分析器。例如，我在搜索字段上使用 cjk 和 smartcn 分詞，使用多字段和多匹配查詢。

(FAQ 部分略，原文已提供)

以上是有效的中文搜索與Elasticsearch的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！