现实生活中的关键信息提取（第 2 部分）：完善开源 LLM 性能
继续第 1 部分，本指南探讨使用开源大型语言模型 (LLM) – Qwen2 2B 和 LLaMA 3.1 – 进行发票信息提取，重点是克服数据隐私问题和硬件限制（具有 12GB VRAM 的 RTX 3060）。
为什么选择 Qwen2 2B 和 LLaMA 3.1？
这些模型的选择是由资源限制驱动的。 Qwen2-VL-2B-Instruct 由于其高效的尺寸，优于较大的 7B 模型。通过 Ollama 访问的 LLaMA 3.1 (8B) 因其优化的长上下文理解而被选中。 其他模型，例如 Ollama 中的 Qwen2（缺乏图像支持）和 LLaVA（多语言功能不足），被认为不适合。
这种双模型策略利用了 Qwen2 在一般关键信息提取方面的优势和 LLaMA 3.1 卓越的长上下文处理和 JSON 输出一致性，特别是对于多语言文档。 Qwen2 最初提取原始信息，然后 LLaMA 3.1 将其细化并构建为标准化 JSON 格式。 PaddleOCR 与第 1 部分一样，增强了 Qwen2 的视觉功能。
日本发票示例
使用日本发票作为测试用例。 初始 OCR 过程（结合语言检测和 PaddleOCR）生成以下识别文本：
<code>Recognized Text:
{'ori_text': '根岸 東急ストア TEL 045-752-6131 領収証 [TOP2C!UbO J3カード」 クレヅッ 卜でのお支払なら 200円で3ボイン卜 お得なカード! 是非こ入会下さい。 2013年09月02日(月) レジNO. 0102 NOO07さ と う 001131 スダフエウ卜チーネ 23 単198 1396 003271 オインイ年 ユウ10 4238 000805 ソマ一ク スモー一クサーモン 1298 003276 タカナン ナマクリーム35 1298 001093 ヌテラ スフレクト 1398 000335 バナサ 138 000112 アボト 2つ 単158 1316 A000191 タマネキ 429 合計 2,111 (内消費税等 100 現金 10001 お預り合計 110 001 お釣り 7 890',
'ori_language': 'ja',
'text': 'Negishi Tokyu Store TEL 045-752-6131 Receipt [TOP2C!UbO J3 Card] If you pay with a credit card, you can get 3 points for 200 yen.A great value card!Please join us. Monday, September 2, 2013 Cashier No. 0102 NOO07 Satou 001131 Sudafue Bucine 23 Single 198 1396 003271 Oinyen Yu 10 4238 000805 Soma Iku Smo Iku Salmon 1298 003276 Takanan Nama Cream 35 1 298 001093 Nutella Sprect 1398 000335 Banasa 138 000112 Aboto 2 AA 158 1316 A000191 Eggplant 429 Total 2,111 (including consumption tax, etc. 100 Cash 10001 Total deposited 110 001 Change 7 890',
'language': 'en',}</code>
这是与 ChatGPT 基线进行比较，证明了 ChatGPT 在此初始测试中的卓越性能。
Qwen2 2B 结果（独立）
独立使用Qwen2暴露了它的局限性。 JSON 输出在多个领域不完整且不准确，凸显了其在一致的 JSON 格式和长上下文处理方面的困难。
结合 Qwen2 和 LLaMA 3.1 方法
采用 LLaMA 3.1 作为后处理器来细化 Qwen2 的输出，得到了改进但仍然不完美的结果。 虽然一些关键字段被准确提取，但详细的项目信息仍然存在问题。
未来改进：微调 Qwen2VL
下一部分将使用收据数据集详细微调 Qwen2VL 模型，旨在显着提高这项专门任务的准确性和处理速度。
结论
该实验展示了开源法学硕士在现实世界关键信息提取方面的潜力和局限性。虽然组合方法比使用单一模型提供了改进，但为了实现最佳性能，需要进一步细化，特别是通过模型微调。 对数据隐私和高效资源利用的关注仍然是这种开源方法的关键优势。
以上是关键信息提取的实用方法（第 2 部分）的详细内容。更多信息请关注PHP中文网其他相关文章！
