Heim Backend-Entwicklung Python-Tutorial Praktische Ansätze zur Schlüsselinformationsextraktion (Teil 2)

Praktische Ansätze zur Schlüsselinformationsextraktion (Teil 2)

Jan 16, 2025 pm 08:13 PM

Echtzeit-Schlüsselinformationsextraktion (Teil 2): ​​Verfeinerung der Open-Source-LLM-Leistung

In Fortsetzung von Teil 1 untersucht dieser Leitfaden die Verwendung von Open-Source-LLMs (Large Language Models) – Qwen2 2B und LLaMA 3.1 – für die Extraktion von Rechnungsinformationen, wobei der Schwerpunkt auf der Überwindung von Datenschutzbedenken und Hardwareeinschränkungen (RTX 3060 mit 12 GB VRAM) liegt.

Warum Qwen2 2B und LLaMA 3.1?

Die Wahl dieser Modelle wurde durch Ressourcenbeschränkungen bestimmt. Qwen2-VL-2B-Instruct wurde aufgrund seiner effizienten Größe gegenüber größeren 7B-Modellen bevorzugt. LLaMA 3.1 (8B), auf das über Ollama zugegriffen wird, wurde aufgrund seines optimierten Langkontextverständnisses ausgewählt. Andere Modelle wie Qwen2 in Ollama (fehlende Bildunterstützung) und LLaVA (unzureichende Mehrsprachigkeit) wurden als ungeeignet erachtet.

Diese Zwei-Modell-Strategie nutzt die Stärke von Qwen2 bei der allgemeinen Schlüsselinformationsextraktion und die überlegene Langkontextverarbeitung und JSON-Ausgabekonsistenz von LLaMA 3.1, insbesondere für mehrsprachige Dokumente. Qwen2 extrahiert zunächst Rohinformationen, die LLaMA 3.1 dann verfeinert und in ein standardisiertes JSON-Format strukturiert. PaddleOCR verbessert wie in Teil 1 die Sehfähigkeiten für Qwen2.

Ein japanisches Rechnungsbeispiel

Als Testfall wurde eine japanische Rechnung verwendet. Der anfängliche OCR-Prozess (einschließlich Spracherkennung und PaddleOCR) ergab den folgenden erkannten Text:

<code>Recognized Text: 
{'ori_text': '根岸 東急ストア TEL 045-752-6131 領収証 [TOP2C!UbO J3カード」 クレヅッ 卜でのお支払なら 200円で3ボイン卜 お得なカード! 是非こ入会下さい。 2013年09月02日(月) レジNO. 0102 NOO07さ と う 001131 スダフエウ卜チーネ 23 単198 1396 003271 オインイ年 ユウ10 4238 000805 ソマ一ク スモー一クサーモン 1298 003276 タカナン ナマクリーム35 1298 001093 ヌテラ スフレクト 1398 000335 バナサ 138 000112 アボト 2つ 単158 1316 A000191 タマネキ 429 合計 2,111 (内消費税等 100 現金 10001 お預り合計 110 001 お釣り 7 890', 
'ori_language': 'ja', 
'text': 'Negishi Tokyu Store TEL 045-752-6131 Receipt [TOP2C!UbO J3 Card] If you pay with a credit card, you can get 3 points for 200 yen.A great value card!Please join us. Monday, September 2, 2013 Cashier No. 0102 NOO07 Satou 001131 Sudafue Bucine 23 Single 198 1396 003271 Oinyen Yu 10 4238 000805 Soma Iku Smo Iku Salmon 1298 003276 Takanan Nama Cream 35 1 298 001093 Nutella Sprect 1398 000335 Banasa 138 000112 Aboto 2 AA 158 1316 A000191 Eggplant 429 Total 2,111 (including consumption tax, etc. 100 Cash 10001 Total deposited 110 001 Change 7 890', 
'language': 'en',}</code>
Nach dem Login kopieren

Practical Approaches to Key Information Extraction (Part 2)

Dies wurde mit einer ChatGPT-Basislinie verglichen, was die überlegene Leistung von ChatGPT in diesem ersten Test demonstrierte.

Qwen2 2B-Ergebnisse (Standalone)

Die unabhängige Verwendung von Qwen2 zeigte seine Grenzen. Die JSON-Ausgabe war in mehreren Bereichen unvollständig und ungenau, was die Schwierigkeiten mit der konsistenten JSON-Formatierung und der Verarbeitung langer Kontexte verdeutlicht.

Kombinierter Qwen2- und LLaMA 3.1-Ansatz

Der Einsatz von LLaMA 3.1 als Postprozessor zur Verfeinerung der Ausgabe von Qwen2 führte zu verbesserten, aber immer noch unvollständigen Ergebnissen. Während einige Schlüsselfelder korrekt extrahiert wurden, blieben detaillierte Artikelinformationen problematisch.

Zukünftige Verbesserungen: Feinabstimmung von Qwen2VL

Im nächsten Teil wird die Feinabstimmung des Qwen2VL-Modells mithilfe eines Datensatzes von Empfangsdaten detailliert beschrieben, mit dem Ziel, sowohl die Genauigkeit als auch die Verarbeitungsgeschwindigkeit für diese spezielle Aufgabe deutlich zu verbessern.

Fazit

Dieses Experiment zeigt das Potenzial und die Grenzen von Open-Source-LLMs für die Extraktion wichtiger Informationen in der Praxis. Während ein kombinierter Ansatz Verbesserungen gegenüber der Verwendung eines einzelnen Modells bietet, ist eine weitere Verfeinerung, insbesondere durch Feinabstimmung des Modells, erforderlich, um eine optimale Leistung zu erzielen. Der Fokus auf Datenschutz und effiziente Ressourcennutzung bleibt ein wesentlicher Vorteil dieses Open-Source-Ansatzes.

Das obige ist der detaillierte Inhalt vonPraktische Ansätze zur Schlüsselinformationsextraktion (Teil 2). Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

Video Face Swap

Video Face Swap

Tauschen Sie Gesichter in jedem Video mühelos mit unserem völlig kostenlosen KI-Gesichtstausch-Tool aus!

Heißer Artikel

<🎜>: Bubble Gum Simulator Infinity - So erhalten und verwenden Sie Royal Keys
4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
Nordhold: Fusionssystem, erklärt
4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
Mandragora: Flüstern des Hexenbaum
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
<🎜> obscur: Expedition 33 - So erhalten Sie perfekte Chroma -Katalysatoren
2 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen

Java-Tutorial
1676
14
PHP-Tutorial
1278
29
C#-Tutorial
1257
24
Python vs. C: Lernkurven und Benutzerfreundlichkeit Python vs. C: Lernkurven und Benutzerfreundlichkeit Apr 19, 2025 am 12:20 AM

Python ist leichter zu lernen und zu verwenden, während C leistungsfähiger, aber komplexer ist. 1. Python -Syntax ist prägnant und für Anfänger geeignet. Durch die dynamische Tippen und die automatische Speicherverwaltung können Sie die Verwendung einfach zu verwenden, kann jedoch zur Laufzeitfehler führen. 2.C bietet Steuerung und erweiterte Funktionen auf niedrigem Niveau, geeignet für Hochleistungsanwendungen, hat jedoch einen hohen Lernschwellenwert und erfordert manuellem Speicher und Typensicherheitsmanagement.

Python lernen: Ist 2 Stunden tägliches Studium ausreichend? Python lernen: Ist 2 Stunden tägliches Studium ausreichend? Apr 18, 2025 am 12:22 AM

Ist es genug, um Python für zwei Stunden am Tag zu lernen? Es hängt von Ihren Zielen und Lernmethoden ab. 1) Entwickeln Sie einen klaren Lernplan, 2) Wählen Sie geeignete Lernressourcen und -methoden aus, 3) praktizieren und prüfen und konsolidieren Sie praktische Praxis und Überprüfung und konsolidieren Sie und Sie können die Grundkenntnisse und die erweiterten Funktionen von Python während dieser Zeit nach und nach beherrschen.

Python vs. C: Erforschung von Leistung und Effizienz erforschen Python vs. C: Erforschung von Leistung und Effizienz erforschen Apr 18, 2025 am 12:20 AM

Python ist in der Entwicklungseffizienz besser als C, aber C ist in der Ausführungsleistung höher. 1. Pythons prägnante Syntax und reiche Bibliotheken verbessern die Entwicklungseffizienz. 2. Die Kompilierungsmerkmale von Compilation und die Hardwarekontrolle verbessern die Ausführungsleistung. Bei einer Auswahl müssen Sie die Entwicklungsgeschwindigkeit und die Ausführungseffizienz basierend auf den Projektanforderungen abwägen.

Python vs. C: Verständnis der wichtigsten Unterschiede Python vs. C: Verständnis der wichtigsten Unterschiede Apr 21, 2025 am 12:18 AM

Python und C haben jeweils ihre eigenen Vorteile, und die Wahl sollte auf Projektanforderungen beruhen. 1) Python ist aufgrund seiner prägnanten Syntax und der dynamischen Typisierung für die schnelle Entwicklung und Datenverarbeitung geeignet. 2) C ist aufgrund seiner statischen Tipp- und manuellen Speicherverwaltung für hohe Leistung und Systemprogrammierung geeignet.

Welches ist Teil der Python Standard Library: Listen oder Arrays? Welches ist Teil der Python Standard Library: Listen oder Arrays? Apr 27, 2025 am 12:03 AM

PythonlistsarePartThestandardlibrary, whilearraysarenot.listarebuilt-in, vielseitig und UNDUSEDFORSPORINGECollections, während dieArrayRay-thearrayModulei und loses und loses und losesaluseduetolimitedFunctionality.

Python: Automatisierung, Skript- und Aufgabenverwaltung Python: Automatisierung, Skript- und Aufgabenverwaltung Apr 16, 2025 am 12:14 AM

Python zeichnet sich in Automatisierung, Skript und Aufgabenverwaltung aus. 1) Automatisierung: Die Sicherungssicherung wird durch Standardbibliotheken wie OS und Shutil realisiert. 2) Skriptschreiben: Verwenden Sie die PSUTIL -Bibliothek, um die Systemressourcen zu überwachen. 3) Aufgabenverwaltung: Verwenden Sie die Zeitplanbibliothek, um Aufgaben zu planen. Die Benutzerfreundlichkeit von Python und die Unterstützung der reichhaltigen Bibliothek machen es zum bevorzugten Werkzeug in diesen Bereichen.

Python für wissenschaftliches Computer: Ein detailliertes Aussehen Python für wissenschaftliches Computer: Ein detailliertes Aussehen Apr 19, 2025 am 12:15 AM

Zu den Anwendungen von Python im wissenschaftlichen Computer gehören Datenanalyse, maschinelles Lernen, numerische Simulation und Visualisierung. 1.Numpy bietet effiziente mehrdimensionale Arrays und mathematische Funktionen. 2. Scipy erweitert die Numpy -Funktionalität und bietet Optimierungs- und lineare Algebra -Tools. 3.. Pandas wird zur Datenverarbeitung und -analyse verwendet. 4.Matplotlib wird verwendet, um verschiedene Grafiken und visuelle Ergebnisse zu erzeugen.

Python für die Webentwicklung: Schlüsselanwendungen Python für die Webentwicklung: Schlüsselanwendungen Apr 18, 2025 am 12:20 AM

Zu den wichtigsten Anwendungen von Python in der Webentwicklung gehören die Verwendung von Django- und Flask -Frameworks, API -Entwicklung, Datenanalyse und Visualisierung, maschinelles Lernen und KI sowie Leistungsoptimierung. 1. Django und Flask Framework: Django eignet sich für die schnelle Entwicklung komplexer Anwendungen, und Flask eignet sich für kleine oder hochmobile Projekte. 2. API -Entwicklung: Verwenden Sie Flask oder Djangorestframework, um RESTFUFFUPI zu erstellen. 3. Datenanalyse und Visualisierung: Verwenden Sie Python, um Daten zu verarbeiten und über die Webschnittstelle anzuzeigen. 4. Maschinelles Lernen und KI: Python wird verwendet, um intelligente Webanwendungen zu erstellen. 5. Leistungsoptimierung: optimiert durch asynchrones Programmieren, Caching und Code

See all articles