使用 OCR 數(shù)字化財(cái)務(wù)報(bào)告時(shí)，您可能會(huì)遇到各種方法來檢測(cè)這些報(bào)告中的特定類別。例如，像 Levenshtein 算法這樣的傳統(tǒng)方法可以用于基于編輯距離的字符串匹配，使其能夠有效地處理近似匹配，例如糾正拼寫錯(cuò)誤或文本中的微小變化。

但是，當(dāng)您需要在報(bào)告的一行中檢測(cè)多個(gè)類別時(shí)，尤其是當(dāng)這些類別可能不完全按照預(yù)期顯示或可能在語(yǔ)義上重疊時(shí)，挑戰(zhàn)會(huì)變得更加復(fù)雜。

在這篇文章中，我們分析了使用 Facebook 的 LASER（與語(yǔ)言無關(guān)的 SEntence Representations）嵌入的語(yǔ)義匹配方法，展示了它如何有效地處理此任務(wù)。

問題

目標(biāo)是識(shí)別給定文本行中的特定財(cái)務(wù)術(shù)語(yǔ)（類別）。假設(shè)我們有一組固定的預(yù)定義類別，代表所有可能感興趣的術(shù)語(yǔ)，例如：

[“收入”、“營(yíng)業(yè)費(fèi)用”、“營(yíng)業(yè)利潤(rùn)”、“折舊”、“利息”、“凈利潤(rùn)”、“稅金”、“稅后利潤(rùn)”、“指標(biāo) 1”]

給定一個(gè)輸入行，例如：

“營(yíng)業(yè)利潤(rùn)、凈利潤(rùn)和稅后利潤(rùn)”

我們的目標(biāo)是檢測(cè)此行中出現(xiàn)哪些標(biāo)識(shí)符。

激光語(yǔ)義匹配

我們不依賴精確或模糊的文本匹配，而是使用語(yǔ)義相似性。這種方法利用激光嵌入來捕獲文本的語(yǔ)義，并使用余弦相似度進(jìn)行比較。

執(zhí)行

預(yù)處理文本

在嵌入之前，通過將文本轉(zhuǎn)換為小寫并刪除多余的空格來對(duì)文本進(jìn)行預(yù)處理。這確保了一致性。

def preprocess(text):
    return text.lower().strip()

嵌入標(biāo)識(shí)符和輸入線

激光編碼器為標(biāo)識(shí)符列表和輸入/OCR 行生成標(biāo)準(zhǔn)化嵌入。

identifier_embeddings = encoder.encode_sentences(identifiers, normalize_embeddings=True)
ocr_line_embedding = encoder.encode_sentences([ocr_line], normalize_embeddings=True)[0]

按特異性對(duì)標(biāo)識(shí)符進(jìn)行排名

較長(zhǎng)的標(biāo)識(shí)符會(huì)根據(jù)字?jǐn)?shù)進(jìn)行排序。這有助于處理嵌套匹配，其中較長(zhǎng)的標(biāo)識(shí)符可能包含較短的標(biāo)識(shí)符（例如，“稅后利潤(rùn)”包含“利潤(rùn)”）。

ranked_identifiers = sorted(identifiers, key=lambda x: len(x.split()), reverse=True)
ranked_embeddings = encoder.encode_sentences(ranked_identifiers, normalize_embeddings=True)

計(jì)算相似度

使用余弦相似度，我們測(cè)量每個(gè)標(biāo)識(shí)符與輸入行在語(yǔ)義上的相似程度。相似度高于指定閾值的標(biāo)識(shí)符被視為匹配。

matches = []
threshold = 0.6

for idx, identifier_embedding in enumerate(ranked_embeddings):
    similarity = cosine_similarity([identifier_embedding], [ocr_line_embedding])[0][0]
    if similarity >= threshold:
        matches.append((ranked_identifiers[idx], similarity))

解析嵌套匹配

為了處理重疊的標(biāo)識(shí)符，會(huì)優(yōu)先考慮較長(zhǎng)的匹配，確保排除其中較短的匹配。

def preprocess(text):
    return text.lower().strip()

結(jié)果

執(zhí)行代碼時(shí)，輸??出會(huì)提供檢測(cè)到的匹配項(xiàng)及其相似度分?jǐn)?shù)的列表。對(duì)于示例輸入：

identifier_embeddings = encoder.encode_sentences(identifiers, normalize_embeddings=True)
ocr_line_embedding = encoder.encode_sentences([ocr_line], normalize_embeddings=True)[0]

較長(zhǎng)且復(fù)雜的輸入的注意事項(xiàng)

此方法適用于單行包含多個(gè)類別的結(jié)構(gòu)化財(cái)務(wù)報(bào)告，前提是沒有太多類別或太多不相關(guān)的文本。然而，隨著較長(zhǎng)、復(fù)雜的輸入或非結(jié)構(gòu)化的用戶生成的文本的出現(xiàn)，準(zhǔn)確性可能會(huì)降低，因?yàn)榍度肟赡芎茈y專注于相關(guān)類別。對(duì)于嘈雜或不可預(yù)測(cè)的輸入，它的可靠性較差。

結(jié)論

這篇文章演示了激光嵌入如何成為檢測(cè)文本中多個(gè)類別的有用工具。這是最好的選擇嗎？也許不是，但這肯定是值得考慮的選項(xiàng)之一，尤其是在處理傳統(tǒng)匹配技術(shù)可能無法滿足的復(fù)雜場(chǎng)景時(shí)。

完整代碼

ranked_identifiers = sorted(identifiers, key=lambda x: len(x.split()), reverse=True)
ranked_embeddings = encoder.encode_sentences(ranked_identifiers, normalize_embeddings=True)

以上是在 Python 中使用 LASER 嵌入進(jìn)行文本標(biāo)識(shí)符的語(yǔ)義匹配的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！