핵심 정보 추출에 대한 실용적인 접근 방식(2부)

실생활 핵심정보 추출(2부): 오픈소스 LLM 성능 개선

1부에 이어 이 가이드에서는 송장 정보 추출을 위해 오픈 소스 LLM(대형 언어 모델)인 Qwen2 2B 및 LLaMA 3.1을 사용하여 데이터 개인정보 보호 문제 및 하드웨어 제한(12GB VRAM을 갖춘 RTX 3060)을 극복하는 데 중점을 둡니다.

Qwen2 2B와 LLaMA 3.1이 필요한 이유는 무엇인가요?

이 모델을 선택한 이유는 리소스 제약 때문이었습니다. Qwen2-VL-2B-Instruct는 효율적인 크기로 인해 더 큰 7B 모델보다 선호되었습니다. Ollama를 통해 액세스되는 LLaMA 3.1(8B)은 최적화된 장기 컨텍스트 이해를 위해 선택되었습니다. Ollama의 Qwen2(이미지 지원 부족) 및 LLaVA(다국어 기능 부족)와 같은 다른 모델은 부적합한 것으로 간주되었습니다.

이 2가지 모델 전략은 Qwen2의 일반 핵심 정보 추출 기능과 LLaMA 3.1의 뛰어난 긴 컨텍스트 처리 및 JSON 출력 일관성(특히 다국어 문서의 경우)을 활용합니다. Qwen2는 처음에 원시 정보를 추출한 다음 LLaMA 3.1에서 이를 정제하여 표준화된 JSON 형식으로 구성합니다. PaddleOCR은 Part 1과 마찬가지로 Qwen2의 비전 기능을 향상시킵니다.

일본 송장 예시

일본 청구서를 테스트 사례로 사용했습니다. 초기 OCR 프로세스(언어 감지 및 PaddleOCR 통합)에서 다음과 같은 인식된 텍스트가 생성되었습니다.

<code>Recognized Text: 
{'ori_text': '根岸 東急ストア TEL 045-752-6131 領収証 [TOP2C!UbO J3カード」 クレヅッ 卜でのお支払なら 200円で3ボイン卜 お得なカード! 是非こ入会下さい。 2013年09月02日(月) レジNO. 0102 NOO07さ と う 001131 スダフエウ卜チーネ 23 単198 1396 003271 オインイ年 ユウ10 4238 000805 ソマ一ク スモー一クサーモン 1298 003276 タカナン ナマクリーム35 1298 001093 ヌテラ スフレクト 1398 000335 バナサ 138 000112 アボト 2つ 単158 1316 A000191 タマネキ 429 合計 2,111 (内消費税等 100 現金 10001 お預り合計 110 001 お釣り 7 890', 
'ori_language': 'ja', 
'text': 'Negishi Tokyu Store TEL 045-752-6131 Receipt [TOP2C!UbO J3 Card] If you pay with a credit card, you can get 3 points for 200 yen.A great value card!Please join us. Monday, September 2, 2013 Cashier No. 0102 NOO07 Satou 001131 Sudafue Bucine 23 Single 198 1396 003271 Oinyen Yu 10 4238 000805 Soma Iku Smo Iku Salmon 1298 003276 Takanan Nama Cream 35 1 298 001093 Nutella Sprect 1398 000335 Banasa 138 000112 Aboto 2 AA 158 1316 A000191 Eggplant 429 Total 2,111 (including consumption tax, etc. 100 Cash 10001 Total deposited 110 001 Change 7 890', 
'language': 'en',}</code>

이를 ChatGPT 기준과 비교하여 초기 테스트에서 ChatGPT의 우수한 성능을 입증했습니다.

Qwen2 2B 결과(독립형)

Qwen2를 단독으로 사용해보니 한계가 드러났습니다. JSON 출력은 여러 분야에서 불완전하고 부정확했으며, 이는 일관된 JSON 형식 및 긴 컨텍스트 처리에 대한 어려움을 강조했습니다.

Qwen2와 LLaMA 3.1 접근 방식 결합

Qwen2의 출력을 개선하기 위해 LLaMA 3.1을 사후 프로세서로 사용하여 개선되었지만 여전히 불완전한 결과를 얻었습니다. 일부 핵심 항목은 정확하게 추출되었으나, 세부 항목 정보는 여전히 문제가 있었습니다.

향후 개선 사항: Qwen2VL 미세 조정

다음 부분에서는 이 전문 작업의 정확성과 처리 속도를 크게 향상시키는 것을 목표로 영수증 데이터 데이터 세트를 사용하여 Qwen2VL 모델을 미세 조정하는 방법을 자세히 설명합니다.

결론

이 실험은 실제 핵심 정보 추출을 위한 오픈 소스 LLM의 잠재력과 한계를 보여줍니다. 결합된 접근 방식은 단일 모델을 사용하는 것보다 향상된 기능을 제공하지만 최적의 성능을 달성하려면 특히 모델 미세 조정을 통한 추가 개선이 필요합니다. 데이터 개인 정보 보호 및 효율적인 리소스 활용에 중점을 두는 것이 이 오픈 소스 접근 방식의 주요 장점입니다.

위 내용은 핵심 정보 추출에 대한 실용적인 접근 방식(2부)의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!