現(xiàn)実の重要な情報(bào)の抽出 (パート 2): オープンソース LLM パフォーマンスの洗練
パート 1 から引き続き、このガイドでは、データ プライバシーの懸念とハードウェア制限 (12GB VRAM を搭載した RTX 3060) の克服に焦點(diǎn)を當(dāng)て、請(qǐng)求書情報(bào)抽出にオープンソースの大規(guī)模言語モデル (LLM) (Qwen2 2B および LLaMA 3.1) を使用する方法について説明します。
なぜ Qwen2 2B と LLaMA 3.1 なのでしょうか?
これらのモデルの選択は、リソースの制約によって決まりました。 Qwen2-VL-2B-Instruct は、効率的なサイズのため、より大きな 7B モデルよりも好まれました。 Ollama 経由でアクセスする LLaMA 3.1 (8B) は、最適化された長(zhǎng)いコンテキストの理解を目的として選択されました。 Ollama の Qwen2 (畫像サポートが不足) や LLaVA (多言語機(jī)能が不十分) などの他のモデルは、不適切であると判斷されました。
この 2 つのモデル戦略は、一般的な重要情報(bào)抽出における Qwen2 の強(qiáng)みと、LLaMA 3.1 の優(yōu)れたロングコンテキスト処理および JSON 出力の一貫性 (特に多言語ドキュメントの場(chǎng)合) を活用しています。 Qwen2 は最初に生の情報(bào)を抽出し、LLaMA 3.1 がそれ??を調(diào)整して標(biāo)準(zhǔn)化された JSON 形式に構(gòu)造化します。 パート 1 と同様に、PaddleOCR は Qwen2 のビジョン機(jī)能を強(qiáng)化します。
日本の請(qǐng)求書の例
日本の請(qǐng)求書がテストケースとして使用されました。 最初の OCR プロセス (言語検出と PaddleOCR を組み込んだ) により、次の認(rèn)識(shí)されたテキストが生成されました:
<code>Recognized Text:
{'ori_text': '根岸 東急ストア TEL 045-752-6131 領(lǐng)収証 [TOP2C!UbO J3カード」 クレヅッ 卜でのお支払なら 200円で3ボイン卜 お得なカード! 是非こ入會(huì)下さい。 2013年09月02日(月) レジNO. 0102 NOO07さ と う 001131 スダフエウ卜チーネ 23 単198 1396 003271 オインイ年 ユウ10 4238 000805 ソマ一ク スモー一クサーモン 1298 003276 タカナン ナマクリーム35 1298 001093 ヌテラ スフレクト 1398 000335 バナサ 138 000112 アボト 2つ 単158 1316 A000191 タマネキ 429 合計(jì) 2,111 (內(nèi)消費(fèi)稅等 100 現(xiàn)金 10001 お預(yù)り合計(jì) 110 001 お釣り 7 890',
'ori_language': 'ja',
'text': 'Negishi Tokyu Store TEL 045-752-6131 Receipt [TOP2C!UbO J3 Card] If you pay with a credit card, you can get 3 points for 200 yen.A great value card!Please join us. Monday, September 2, 2013 Cashier No. 0102 NOO07 Satou 001131 Sudafue Bucine 23 Single 198 1396 003271 Oinyen Yu 10 4238 000805 Soma Iku Smo Iku Salmon 1298 003276 Takanan Nama Cream 35 1 298 001093 Nutella Sprect 1398 000335 Banasa 138 000112 Aboto 2 AA 158 1316 A000191 Eggplant 429 Total 2,111 (including consumption tax, etc. 100 Cash 10001 Total deposited 110 001 Change 7 890',
'language': 'en',}</code>
これは ChatGPT ベースラインと比較され、この初期テストにおける ChatGPT の優(yōu)れたパフォーマンスが実証されました。
Qwen2 2B 結(jié)果 (スタンドアロン)
Qwen2 を単獨(dú)で使用すると、その限界が明らかになりました。 JSON 出力はいくつかのフィールドで不完全かつ不正確であり、一貫した JSON フォーマットと長(zhǎng)いコンテキストの処理での苦労が浮き彫りになりました。
Qwen2 と LLaMA 3.1 を組み合わせたアプローチ
LLaMA 3.1 をポストプロセッサとして採(cǎi)用して Qwen2 の出力を改良すると、改善されましたが、依然として不完全な結(jié)果が得られました。 一部のキーフィールドは正確に抽出されましたが、詳細(xì)なアイテム情報(bào)には問題が殘りました。
今後の改善點(diǎn): Qwen2VL の微調(diào)整
次のパートでは、この特殊なタスクの精度と処理速度の両方を大幅に向上させることを目的として、レシート データのデータセットを使用した Qwen2VL モデルの微調(diào)整について詳しく説明します。
結(jié)論
この実験は、現(xiàn)実世界の重要な情報(bào)抽出におけるオープンソース LLM の可能性と限界を示しています。組み合わせたアプローチでは単一モデルを使用する場(chǎng)合よりも改善が得られますが、最適なパフォーマンスを達(dá)成するには、特にモデルの微調(diào)整によるさらなる改良が必要です。 データのプライバシーとリソースの効率的な利用に重點(diǎn)を置くことは、依然としてこのオープンソース アプローチの重要な利點(diǎn)です。
以上が重要な情報(bào)を抽出するための実踐的なアプローチ (パート 2)の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語 Web サイトの他の関連記事を參照してください。
ホットAIツール
Undress AI Tool
脫衣畫像を無料で
Undresser.AI Undress
リアルなヌード寫真を作成する AI 搭載アプリ
AI Clothes Remover
寫真から衣服を削除するオンライン AI ツール。
Clothoff.io
AI衣類リムーバー
Video Face Swap
完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡(jiǎn)単に交換できます。
人気の記事
ホットツール
メモ帳++7.3.1
使いやすく無料のコードエディター
SublimeText3 中國(guó)語版
中國(guó)語版、とても使いやすい
ゼンドスタジオ 13.0.1
強(qiáng)力な PHP 統(tǒng)合開発環(huán)境
ドリームウィーバー CS6
ビジュアル Web 開発ツール
SublimeText3 Mac版
神レベルのコード編集ソフト（SublimeText3）
ホットトピック
8638
17
1783
16
1729
56
1579
28
1444
31
Pythonの不適格またはPytestフレームワークは、自動(dòng)テストをどのように促進(jìn)しますか？
Jun 19, 2025 am 01:10 AM
Pythonの不適格でPytestは、自動(dòng)テストの書き込み、整理、および実行を簡(jiǎn)素化する2つの広く使用されているテストフレームワークです。 1.両方とも、テストケースの自動(dòng)発見をサポートし、明確なテスト構(gòu)造を提供します。 pytestはより簡(jiǎn)潔で、テスト\ _から始まる関數(shù)が必要です。 2。それらはすべて組み込みのアサーションサポートを持っています：Unittestはアサートエクイアル、アサートトルー、およびその他の方法を提供しますが、Pytestは拡張されたアサートステートメントを使用して障害の詳細(xì)を自動(dòng)的に表示します。 3.すべてがテストの準(zhǔn)備とクリーニングを処理するためのメカニズムを持っています：un
Pythonは、NumpyやPandasなどのライブラリとのデータ分析と操作にどのように使用できますか？
Jun 19, 2025 am 01:04 AM
pythonisidealfordataanalysisduetonumpyandpandas.1）numpyexcelsatnumericalcompitations withfast、多次元路面およびベクトル化された分離likenp.sqrt（）
動(dòng)的なプログラミング技術(shù)とは何ですか？また、Pythonでそれらを使用するにはどうすればよいですか？
Jun 20, 2025 am 12:57 AM
動(dòng)的プログラミング（DP）は、複雑な問題をより単純なサブ問題に分解し、結(jié)果を保存して繰り返し計(jì)算を回避することにより、ソリューションプロセスを最適化します。主な方法は2つあります。1。トップダウン（暗記）：?jiǎn)栴}を再帰的に分解し、キャッシュを使用して中間結(jié)果を保存します。 2。ボトムアップ（表）：基本的な狀況からソリューションを繰り返し構(gòu)築します。フィボナッチシーケンス、バックパッキングの問題など、最大/最小値、最適なソリューション、または重複するサブ問題が必要なシナリオに適しています。Pythonでは、デコレータまたはアレイを通じて実裝でき、再帰的な関係を特定し、ベンチマークの狀況を定義し、空間の複雑さを最適化することに注意する必要があります。
__iter__と__next__を使用してPythonにカスタムイテレーターを?qū)g裝するにはどうすればよいですか？
Jun 19, 2025 am 01:12 AM
カスタムイテレーターを?qū)g裝するには、クラス內(nèi)の__iter__および__next__メソッドを定義する必要があります。 __iter__メソッドは、ループなどの反復(fù)環(huán)境と互換性があるように、通常は自己の反復(fù)オブジェクト自體を返します。 __next__メソッドは、各反復(fù)の値を制御し、シーケンスの次の要素を返し、アイテムがもうない場(chǎng)合、停止例外をスローする必要があります。 statusステータスを正しく追跡する必要があり、無限のループを避けるために終了條件を設(shè)定する必要があります。 fileファイルラインフィルタリングなどの複雑なロジック、およびリソースクリーニングとメモリ管理に注意を払ってください。 simple単純なロジックについては、代わりにジェネレーター関數(shù)の収率を使用することを検討できますが、特定のシナリオに基づいて適切な方法を選択する必要があります。
Pythonプログラミング言語とそのエコシステムの新たな傾向または將來の方向性は何ですか？
Jun 19, 2025 am 01:09 AM
Pythonの將來の傾向には、パフォーマンスの最適化、より強(qiáng)力なタイププロンプト、代替ランタイムの増加、およびAI/MLフィールドの継続的な成長(zhǎng)が含まれます。第一に、CPYTHONは最適化を続け、スタートアップのより速い時(shí)間、機(jī)能通話の最適化、および提案された整數(shù)操作を通じてパフォーマンスを向上させ続けています。第二に、タイプのプロンプトは、コードセキュリティと開発エクスペリエンスを強(qiáng)化するために、言語とツールチェーンに深く統(tǒng)合されています。第三に、PyscriptやNuitkaなどの代替のランタイムは、新しい機(jī)能とパフォーマンスの利點(diǎn)を提供します。最後に、AIとデータサイエンスの分野は拡大し続けており、新興図書館はより効率的な開発と統(tǒng)合を促進(jìn)します。これらの傾向は、Pythonが常に技術(shù)の変化に適応し、その主要な位置を維持していることを示しています。
ソケットを使用してPythonでネットワークプログラミングを?qū)g行するにはどうすればよいですか？
Jun 20, 2025 am 12:56 AM
Pythonのソケットモジュールは、クライアントおよびサーバーアプリケーションの構(gòu)築に適した低レベルのネットワーク通信機(jī)能を提供するネットワークプログラミングの基礎(chǔ)です?；镜膜蔜CPサーバーを設(shè)定するには、Socket.Socket（）を使用してオブジェクトを作成し、アドレスとポートをバインドし、.listen（）を呼び出して接続をリッスンし、.accept（）を介してクライアント接続を受け入れる必要があります。 TCPクライアントを構(gòu)築するには、ソケットオブジェクトを作成し、.connect（）を呼び出してサーバーに接続する必要があります。次に、.sendall（）を使用してデータと.recv（）を送信して応答を受信します。複數(shù)のクライアントを処理するには、1つを使用できます。スレッド：接続するたびに新しいスレッドを起動(dòng)します。 2。非同期I/O：たとえば、Asyncioライブラリは非ブロッキング通信を?qū)g現(xiàn)できます。注意すべきこと
Pythonクラスの多型
Jul 05, 2025 am 02:58 AM
Pythonオブジェクト指向プログラミングのコアコンセプトであるPythonは、「1つのインターフェイス、複數(shù)の実裝」を指し、異なるタイプのオブジェクトの統(tǒng)一処理を可能にします。 1。多型は、メソッドの書き換えを通じて実裝されます。サブクラスは、親クラスの方法を再定義できます。たとえば、Animal ClassのSOCK（）方法は、犬と貓のサブクラスに異なる実裝を持っています。 2.多型の実用的な用途には、グラフィカルドローイングプログラムでdraw（）メソッドを均一に呼び出すなど、コード構(gòu)造を簡(jiǎn)素化し、スケーラビリティを向上させる、ゲーム開発における異なる文字の共通の動(dòng)作の処理などが含まれます。 3. Pythonの実裝多型を満たす必要があります：親クラスはメソッドを定義し、子クラスはメソッドを上書きしますが、同じ親クラスの継承は必要ありません。オブジェクトが同じ方法を?qū)g裝する限り、これは「アヒル型」と呼ばれます。 4.注意すべきことには、メンテナンスが含まれます
Pythonでリストをスライスするにはどうすればよいですか？
Jun 20, 2025 am 12:51 AM
Pythonリストスライスに対するコアの答えは、[start：end：step]構(gòu)文をマスターし、その動(dòng)作を理解することです。 1.リストスライスの基本形式はリスト[start：end：step]です。ここで、開始は開始インデックス（含まれています）、endはend index（含まれていません）、ステップはステップサイズです。 2。デフォルトで開始を省略して、0から開始を開始し、デフォルトで終了して終了し、デフォルトでステップを1に省略します。 3。my_list[：n]を使用して最初のnアイテムを取得し、my_list [-n：]を使用して最後のnアイテムを取得します。 4.ステップを使用して、my_list [:: 2]などの要素をスキップして、均一な數(shù)字と負(fù)のステップ値を取得できます。 5.一般的な誤解には、終了インデックスが含まれません
