使用 OCR 數(shù)位化財(cái)務(wù)報(bào)告時(shí)，您可能會(huì)遇到各種方法來偵測(cè)這些報(bào)告中的特定類別。例如，像 Levenshtein 演算法這樣的傳統(tǒng)方法可以用於基於編輯距離的字串匹配，使其能夠有效地處理近似匹配，例如修正拼字錯(cuò)誤或文字中的微小變化。

但是，當(dāng)您需要在報(bào)告的一行中檢測(cè)多個(gè)類別時(shí)，尤其是當(dāng)這些類別可能不完全按照預(yù)期顯示或可能在語義上重疊時(shí)，挑戰(zhàn)會(huì)變得更加複雜。

在這篇文章中，我們分析了使用 Facebook 的 LASER（與語言無關(guān)的 SEntence Representations）嵌入的語義匹配方法，展示了它如何有效地處理此任務(wù)。

問題

目標(biāo)是識(shí)別給定文字行中的特定財(cái)務(wù)術(shù)語（類別）。假設(shè)我們有一組固定的預(yù)定義類別，代表所有可能感興趣的術(shù)語，例如：

[「收入」、「營(yíng)業(yè)費(fèi)用」、「營(yíng)業(yè)利潤(rùn)」、「折舊」、「利息」、「淨(jìng)利」、「稅金」、「稅後利潤(rùn)」、「指標(biāo) 1」]

給定一個(gè)輸入行，例如：

「營(yíng)業(yè)利潤(rùn)、淨(jìng)利和稅後利潤(rùn)」

我們的目標(biāo)是偵測(cè)此行中出現(xiàn)哪些識(shí)別符。

雷射語義匹配

我們不依賴精確或模糊的文本匹配，而是使用語義相似性。這種方法利用雷射嵌入來捕捉文字的語義，並使用餘弦相似度進(jìn)行比較。

執(zhí)行

預(yù)處理文字

在嵌入之前，透過將文字轉(zhuǎn)換為小寫並刪除多餘的空格來對(duì)文字進(jìn)行預(yù)處理。這確保了一致性。

def preprocess(text):
    return text.lower().strip()

嵌入識(shí)別符和輸入線

雷射編碼器為標(biāo)識(shí)符清單和輸入/OCR 行產(chǎn)生標(biāo)準(zhǔn)化嵌入。

identifier_embeddings = encoder.encode_sentences(identifiers, normalize_embeddings=True)
ocr_line_embedding = encoder.encode_sentences([ocr_line], normalize_embeddings=True)[0]

以特異性對(duì)識(shí)別符進(jìn)行排名

較長(zhǎng)的標(biāo)識(shí)符會(huì)根據(jù)字?jǐn)?shù)進(jìn)行排序。這有助於處理嵌套匹配，其中較長(zhǎng)的標(biāo)識(shí)符可能包含較短的標(biāo)識(shí)符（例如，“稅後利潤(rùn)”包含“利潤(rùn)”）。

ranked_identifiers = sorted(identifiers, key=lambda x: len(x.split()), reverse=True)
ranked_embeddings = encoder.encode_sentences(ranked_identifiers, normalize_embeddings=True)

計(jì)算相似度

使用餘弦相似度，我們測(cè)量每個(gè)標(biāo)識(shí)符與輸入行在語意上的相似程度。相似度高於指定閾值的標(biāo)識(shí)符被視為匹配。

matches = []
threshold = 0.6

for idx, identifier_embedding in enumerate(ranked_embeddings):
    similarity = cosine_similarity([identifier_embedding], [ocr_line_embedding])[0][0]
    if similarity >= threshold:
        matches.append((ranked_identifiers[idx], similarity))

解析嵌套匹配

為了處理重疊的標(biāo)識(shí)符，會(huì)優(yōu)先考慮較長(zhǎng)的匹配，確保排除其中較短的匹配。

def preprocess(text):
    return text.lower().strip()

結(jié)果

執(zhí)行程式碼時(shí)，輸出會(huì)提供偵測(cè)到的匹配項(xiàng)及其相似度分?jǐn)?shù)的清單。對(duì)於範(fàn)例輸入：

identifier_embeddings = encoder.encode_sentences(identifiers, normalize_embeddings=True)
ocr_line_embedding = encoder.encode_sentences([ocr_line], normalize_embeddings=True)[0]

較長(zhǎng)且複雜的輸入的注意事項(xiàng)

此方法適用於單行包含多個(gè)類別的結(jié)構(gòu)化財(cái)務(wù)報(bào)告，前提是沒有太多類別或太多不相關(guān)的文字。然而，隨著較長(zhǎng)、複雜的輸入或非結(jié)構(gòu)化的使用者生成的文字的出現(xiàn)，準(zhǔn)確性可能會(huì)降低，因?yàn)榍度肟赡芎茈y專注於相關(guān)類別。對(duì)於嘈雜或不可預(yù)測(cè)的輸入，它的可靠性較差。

結(jié)論

這篇文章示範(fàn)了雷射嵌入如何成為檢測(cè)文本中多個(gè)類別的有用工具。這是最好的選擇嗎？也許不是，但這肯定是值得考慮的選項(xiàng)之一，尤其是在處理傳統(tǒng)匹配技術(shù)可能無法滿足的複雜場(chǎng)景時(shí)。

完整程式碼

ranked_identifiers = sorted(identifiers, key=lambda x: len(x.split()), reverse=True)
ranked_embeddings = encoder.encode_sentences(ranked_identifiers, normalize_embeddings=True)

以上是在 Python 中使用 LASER 嵌入進(jìn)行文字標(biāo)識(shí)符的語意匹配的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！