OCR を使用して財務(wù)レポートをデジタル化する場合、レポート內(nèi)の特定のカテゴリを検出するためにさまざまなアプローチが使用される場合があります。たとえば、レーベンシュタイン アルゴリズムなどの従來の方法は、編集距離に基づく文字列の一致に使用でき、タイプミスやテキストの小さな変化の修正など、近似一致の処理に効果的です。
ただし、レポートの 1 行で複數(shù)のカテゴリを検出する必要がある場合、特にそれらのカテゴリが期待どおりに表示されない場合や、意味的に重複する可能性がある場合、課題はより複雑になります。
この投稿では、Facebook の LASER (Language-Agnostic SEntence Representations) 埋め込みを使用したセマンティック マッチング アプローチを分析し、このタスクを効果的に処理する方法を紹介します。
問題
目的は、特定のテキスト行內(nèi)の特定の財務(wù)條件 (カテゴリ) を識別することです。次のような、考えられる関心のあるすべての用語を表す事前定義されたカテゴリの固定セットがあると仮定しましょう。
[「収益」、「営業(yè)費用」、「営業(yè)利益」、「減価償卻費」、「利息」、「純利益」、「稅金」、「稅引後利益」、「指標(biāo) 1」]
次のような入力行があるとします。
「営業(yè)利益、純利益、稅引き後利益」
この行にどの識別子が含まれているかを検出することを目的としています。
LASERによるセマンティックマッチング
テキストの完全一致またはあいまい一致に依存する代わりに、意味的な類似性を使用します。このアプローチでは、LASER 埋め込みを利用してテキストの意味論的な意味を取得し、コサイン類似度を使用してそれを比較します。
実裝
テキストの前処理
埋め込む前に、テキストは小文字に変換され、余分なスペースが削除される前処理されます。これにより均一性が保証されます。
def preprocess(text):
return text.lower().strip()
埋め込み識別子と入力行
LASER エンコーダは、識別子のリストと入力/OCR ラインの両方に対して正規(guī)化された埋め込みを生成します。
identifier_embeddings = encoder.encode_sentences(identifiers, normalize_embeddings=True) ocr_line_embedding = encoder.encode_sentences([ocr_line], normalize_embeddings=True)[0]
特異性による識別子のランク付け
長い識別子は、単語數(shù)に基づいて並べ替えることにより優(yōu)先されます。これは、長い識別子が短い識別子を包含する可能性があるネストされた一致を処理するのに役立ちます (例: 「稅引後利益」が「利益」を包含します)。
ranked_identifiers = sorted(identifiers, key=lambda x: len(x.split()), reverse=True) ranked_embeddings = encoder.encode_sentences(ranked_identifiers, normalize_embeddings=True)
類似性の計算
コサイン類似度を使用して、各識別子が入力行に対して意味的にどの程度類似しているかを測定します。指定されたしきい値を超える類似性を持つ識別子は一致とみなされます。
matches = []
threshold = 0.6
for idx, identifier_embedding in enumerate(ranked_embeddings):
similarity = cosine_similarity([identifier_embedding], [ocr_line_embedding])[0][0]
if similarity >= threshold:
matches.append((ranked_identifiers[idx], similarity))
ネストされた一致の解決
重複する識別子を処理するために、長い一致が優(yōu)先され、その中の短い一致が確実に除外されます。
def preprocess(text):
return text.lower().strip()
結(jié)果
コードが実行されると、検出された一致のリストとその類似性スコアが出力に提供されます。入力例:
identifier_embeddings = encoder.encode_sentences(identifiers, normalize_embeddings=True) ocr_line_embedding = encoder.encode_sentences([ocr_line], normalize_embeddings=True)[0]
長く複雑な入力に関する考慮事項
この方法は、カテゴリが多すぎたり、無関係なテキストが多すぎたりしない限り、1 行に複數(shù)のカテゴリがある構(gòu)造化財務(wù)レポートでうまく機(jī)能します。ただし、長く複雑な入力や構(gòu)造化されていないユーザー作成テキストでは、埋め込みが関連するカテゴリに焦點を當(dāng)てるのに苦労する可能性があるため、精度が低下する可能性があります。ノイズの多い入力や予測不可能な入力に対しては信頼性が低くなります。
結(jié)論
この投稿では、LASER 埋め込みがテキスト內(nèi)の複數(shù)のカテゴリを検出するための便利なツールとなり得ることを示します。それは最良の選択肢ですか?おそらくそうではないかもしれませんが、特に従來のマッチング手法では不十分な可能性がある複雑なシナリオを扱う場合には、検討する価値のあるオプションの 1 つであることは確かです。
完全なコード
ranked_identifiers = sorted(identifiers, key=lambda x: len(x.split()), reverse=True) ranked_embeddings = encoder.encode_sentences(ranked_identifiers, normalize_embeddings=True)
以上がPython での LASER 埋め込みを使用したテキスト識別子のセマンティック マッチングの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國語 Web サイトの他の関連記事を參照してください。
ホットAIツール
Undress AI Tool
脫衣畫像を無料で
Undresser.AI Undress
リアルなヌード寫真を作成する AI 搭載アプリ
AI Clothes Remover
寫真から衣服を削除するオンライン AI ツール。
Clothoff.io
AI衣類リムーバー
Video Face Swap
完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。
人気の記事
ホットツール
メモ帳++7.3.1
使いやすく無料のコードエディター
SublimeText3 中國語版
中國語版、とても使いやすい
ゼンドスタジオ 13.0.1
強(qiáng)力な PHP 統(tǒng)合開発環(huán)境
ドリームウィーバー CS6
ビジュアル Web 開発ツール
SublimeText3 Mac版
神レベルのコード編集ソフト（SublimeText3）
ホットトピック
1594
29
1476
72
267
587
125
836
21
8
Pythonクラスの多型
Jul 05, 2025 am 02:58 AM
Pythonオブジェクト指向プログラミングのコアコンセプトであるPythonは、「1つのインターフェイス、複數(shù)の実裝」を指し、異なるタイプのオブジェクトの統(tǒng)一処理を可能にします。 1。多型は、メソッドの書き換えを通じて実裝されます。サブクラスは、親クラスの方法を再定義できます。たとえば、Animal ClassのSOCK（）方法は、犬と貓のサブクラスに異なる実裝を持っています。 2.多型の実用的な用途には、グラフィカルドローイングプログラムでdraw（）メソッドを均一に呼び出すなど、コード構(gòu)造を簡素化し、スケーラビリティを向上させる、ゲーム開発における異なる文字の共通の動作の処理などが含まれます。 3. Pythonの実裝多型を満たす必要があります：親クラスはメソッドを定義し、子クラスはメソッドを上書きしますが、同じ親クラスの継承は必要ありません。オブジェクトが同じ方法を?qū)g裝する限り、これは「アヒル型」と呼ばれます。 4.注意すべきことには、メンテナンスが含まれます
Pythonジェネレーターと反復(fù)器を説明します。
Jul 05, 2025 am 02:55 AM
イテレータは、__iter __（）および__next __（）メソッドを?qū)g裝するオブジェクトです。ジェネレーターは、単純化されたバージョンのイテレーターです。これは、収量キーワードを介してこれらのメソッドを自動的に実裝しています。 1. Iteratorは、次の（）を呼び出すたびに要素を返し、要素がなくなると停止例外をスローします。 2。ジェネレーターは関數(shù)定義を使用して、オンデマンドでデータを生成し、メモリを保存し、無限シーケンスをサポートします。 3。既存のセットを処理するときに反復(fù)器を使用すると、大きなファイルを読み取るときに行ごとにロードするなど、ビッグデータや怠zyな評価を動的に生成するときにジェネレーターを使用します。注：リストなどの反復(fù)オブジェクトは反復(fù)因子ではありません。イテレーターがその端に達(dá)した後、それらは再作成する必要があり、発電機(jī)はそれを一度しか通過できません。
Python関數(shù)引數(shù)とパラメーター
Jul 04, 2025 am 03:26 AM
パラメーターは関數(shù)を定義するときはプレースホルダーであり、引數(shù)は呼び出し時に特定の値が渡されます。 1。位置パラメーターを順番に渡す必要があり、順序が正しくない場合は結(jié)果のエラーにつながります。 2。キーワードパラメーターはパラメーター名で指定されており、順序を変更して読みやすさを向上させることができます。 3.デフォルトのパラメーター値は、複製コードを避けるために定義されたときに割り當(dāng)てられますが、変數(shù)オブジェクトはデフォルト値として避ける必要があります。 4. Argsおよび *Kwargsは、不確実な數(shù)のパラメーターを処理でき、一般的なインターフェイスまたはデコレータに適していますが、読みやすさを維持するためには注意して使用する必要があります。
python `@classmethod`デコレーターが説明しました
Jul 04, 2025 am 03:26 AM
クラスメソッドは、@ClassMethodデコレーターを介してPythonで定義されるメソッドです。最初のパラメーターはクラス自體（CLS）で、クラス?fàn)顟B(tài)へのアクセスまたは変更に使用されます。特定のインスタンスではなく、クラス全體に影響を與えるクラスまたはインスタンスを通じて呼び出すことができます。たとえば、Personクラスでは、show_count（）メソッドは作成されたオブジェクトの數(shù)を數(shù)えます。クラスメソッドを定義するときは、@ClassMethodデコレータを使用して、Change_Var（new_Value）メソッドなどの最初のパラメーターCLSに名前を付けてクラス変數(shù)を変更する必要があります。クラス方法は、インスタンスメソッド（自己パラメーター）および靜的メソッド（自動パラメーターなし）とは異なり、工場の方法、代替コンストラクター、およびクラス変數(shù)の管理に適しています。一般的な用途には以下が含まれます。
Pythonの2つのリストを組み合わせる方法は？
Jun 30, 2025 am 02:04 AM
2つのリストをマージするには多くの方法があり、正しい方法を選択すると効率を改善できます。 1。List1 List2などの新しいリストを生成するには、番號スプライシングを使用します。 2。使用= list1 = list2などの元のリストを変更します。 3。list1.extend（list2）などの元のリストで操作するには、extend（）メソッドを使用します。 4. [List1、*List2]など、複數(shù)のリストの柔軟な組み合わせや要素の追加をサポートする[List1、*List2]など、[Python3.5]を解き、マージする（python3.5）を使用してマージします。さまざまな方法がさまざまなシナリオに適しているため、元のリストとPythonバージョンを変更するかどうかに基づいて選択する必要があります。
PythonでAPI認(rèn)証を処理する方法
Jul 13, 2025 am 02:22 AM
API認(rèn)証を扱うための鍵は、認(rèn)証方法を正しく理解して使用することです。 1。Apikeyは、通常、リクエストヘッダーまたはURLパラメーターに配置されている最も単純な認(rèn)証方法です。 2。BasicAuthは、內(nèi)部システムに適したBase64エンコード送信にユーザー名とパスワードを使用します。 3。OAUTH2は、最初にclient_idとclient_secretを介してトークンを取得し、次にリクエストヘッダーにbearertokenを持ち込む必要があります。 4。トークンの有効期限に対処するために、トークン管理クラスをカプセル化し、トークンを自動的に更新できます。要するに、文書に従って適切な方法を選択し、重要な情報を安全に保存することが重要です。
Python Magic MethodsまたはDunder Methodとは何ですか？
Jul 04, 2025 am 03:20 AM
PythonのMagicMethods（またはDunder Methods）は、オブジェクトの動作を定義するために使用される特別な方法であり、二重のアンダースコアで始まり、終了します。 1.オブジェクトは、追加、比較、文字列表現(xiàn)などの組み込み操作に応答できるようにします。 2.一般的なユースケースには、オブジェクトの初期化と表現(xiàn)（__init__、__Repr__、__str__）、算術(shù)操作（__ add__、__sub__、__mul__）、および比較操作（__eq__、___lt__）が含まれます。 3。それを使用するときは、彼らの行動が期待を満たしていることを確認(rèn)してください。たとえば、__Repr__はリファクタリング可能なオブジェクトの式を返す必要があり、算術(shù)メソッドは新しいインスタンスを返す必要があります。 4.過剰使用または混亂を招くことは避ける必要があります。
Pythonメモリ管理はどのように機(jī)能しますか？
Jul 04, 2025 am 03:26 AM
PythonManagesMemoryAutomatelyUsingTuntingAndagarBageCollector.ReferencountingTrackShowManyvariablesRefertoAnobject、およびThemeMoryisfreed.
