重要な情報を抽出するための実践的なアプローチ (パート 2)

現実の重要な情報の抽出 (パート 2): オープンソース LLM パフォーマンスの洗練

パート 1 から引き続き、このガイドでは、データ プライバシーの懸念とハードウェア制限 (12GB VRAM を搭載した RTX 3060) の克服に焦点を当て、請求書情報抽出にオープンソースの大規模言語モデル (LLM) (Qwen2 2B および LLaMA 3.1) を使用する方法について説明します。

なぜ Qwen2 2B と LLaMA 3.1 なのでしょうか?

これらのモデルの選択は、リソースの制約によって決まりました。 Qwen2-VL-2B-Instruct は、効率的なサイズのため、より大きな 7B モデルよりも好まれました。 Ollama 経由でアクセスする LLaMA 3.1 (8B) は、最適化された長いコンテキストの理解を目的として選択されました。 Ollama の Qwen2 (画像サポートが不足) や LLaVA (多言語機能が不十分) などの他のモデルは、不適切であると判断されました。

この 2 つのモデル戦略は、一般的な重要情報抽出における Qwen2 の強みと、LLaMA 3.1 の優れたロングコンテキスト処理および JSON 出力の一貫性 (特に多言語ドキュメントの場合) を活用しています。 Qwen2 は最初に生の情報を抽出し、LLaMA 3.1 がそれ​​を調整して標準化された JSON 形式に構造化します。 パート 1 と同様に、PaddleOCR は Qwen2 のビジョン機能を強化します。

日本の請求書の例

日本の請求書がテストケースとして使用されました。 最初の OCR プロセス (言語検出と PaddleOCR を組み込んだ) により、次の認識されたテキストが生成されました:

<code>Recognized Text: 
{'ori_text': '根岸 東急ストア TEL 045-752-6131 領収証 [TOP2C!UbO J3カード」 クレヅッ 卜でのお支払なら 200円で3ボイン卜 お得なカード! 是非こ入会下さい。 2013年09月02日(月) レジNO. 0102 NOO07さ と う 001131 スダフエウ卜チーネ 23 単198 1396 003271 オインイ年 ユウ10 4238 000805 ソマ一ク スモー一クサーモン 1298 003276 タカナン ナマクリーム35 1298 001093 ヌテラ スフレクト 1398 000335 バナサ 138 000112 アボト 2つ 単158 1316 A000191 タマネキ 429 合計 2,111 (内消費税等 100 現金 10001 お預り合計 110 001 お釣り 7 890', 
'ori_language': 'ja', 
'text': 'Negishi Tokyu Store TEL 045-752-6131 Receipt [TOP2C!UbO J3 Card] If you pay with a credit card, you can get 3 points for 200 yen.A great value card!Please join us. Monday, September 2, 2013 Cashier No. 0102 NOO07 Satou 001131 Sudafue Bucine 23 Single 198 1396 003271 Oinyen Yu 10 4238 000805 Soma Iku Smo Iku Salmon 1298 003276 Takanan Nama Cream 35 1 298 001093 Nutella Sprect 1398 000335 Banasa 138 000112 Aboto 2 AA 158 1316 A000191 Eggplant 429 Total 2,111 (including consumption tax, etc. 100 Cash 10001 Total deposited 110 001 Change 7 890', 
'language': 'en',}</code>

これは ChatGPT ベースラインと比較され、この初期テストにおける ChatGPT の優れたパフォーマンスが実証されました。

Qwen2 2B 結果 (スタンドアロン)

Qwen2 を単独で使用すると、その限界が明らかになりました。 JSON 出力はいくつかのフィールドで不完全かつ不正確であり、一貫した JSON フォーマットと長いコンテキストの処理での苦労が浮き彫りになりました。

Qwen2 と LLaMA 3.1 を組み合わせたアプローチ

LLaMA 3.1 をポストプロセッサとして採用して Qwen2 の出力を改良すると、改善されましたが、依然として不完全な結果が得られました。 一部のキーフィールドは正確に抽出されましたが、詳細なアイテム情報には問題が残りました。

今後の改善点: Qwen2VL の微調整

次のパートでは、この特殊なタスクの精度と処理速度の両方を大幅に向上させることを目的として、レシート データのデータセットを使用した Qwen2VL モデルの微調整について詳しく説明します。

結論

この実験は、現実世界の重要な情報抽出におけるオープンソース LLM の可能性と限界を示しています。組み合わせたアプローチでは単一モデルを使用する場合よりも改善が得られますが、最適なパフォーマンスを達成するには、特にモデルの微調整によるさらなる改良が必要です。 データのプライバシーとリソースの効率的な利用に重点を置くことは、依然としてこのオープンソース アプローチの重要な利点です。

以上が重要な情報を抽出するための実践的なアプローチ (パート 2)の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。