Trocr dan Zhen lateks Ocr

Meneroka Kekuatan Model-ke-Teks Model: Trocr dan Zhen Latex Ocr

Dunia AI bersemangat dengan model bahasa dan aplikasi mereka dalam bantuan maya dan penciptaan kandungan. Walau bagaimanapun, bidang penukaran imej-ke-teks, yang dikuasakan oleh pengiktirafan aksara optik (OCR), menawarkan kemungkinan menarik. Artikel ini menyelidiki dua model imej-ke-teks yang kuat: Trocr dan Zhen Latex OCR, menonjolkan kekuatan dan aplikasi unik mereka.

Objektif Pembelajaran:

• Memahami kes penggunaan optimum untuk trokra dan zhen lateks Ocr.
• Dapatkan pandangan tentang seni bina asas mereka.
• Melaksanakan kesimpulan dengan model -model ini dan meneroka aplikasi praktikal.
• Kenali penggunaan dunia sebenar alat-alat yang berkuasa ini.

(Artikel ini adalah sebahagian daripada Blogathon Sains Data.)

Jadual Kandungan:

• Trocr: Model pengekod pengekod untuk imej-ke-teks
• Seni Bina Trokr
• Memperkenalkan Zhen Latex Ocr
• Trocr vs Zhen Latex Ocr: Perbandingan
• Menggunakan Trocr: Panduan Langkah demi Langkah
• Menggunakan Zhen Latex OCR untuk Pengiktirafan Imej Matematik dan LaTeX
• Penambahbaikan dan Peningkatan Masa Depan
• Aplikasi dunia sebenar OCR
• Soalan yang sering ditanya

Trocr: Model pengekod pengekod untuk imej-ke-teks

Trocr (pengiktirafan watak optik berasaskan tradisional) adalah model pengekod-decoder yang memanfaatkan mekanisme urutan-ke-urutan untuk penukaran imej-ke-teks. Ia mempunyai pengubah imej (encoder) dan pengubah teks (decoder). Model-model Trocr biasanya terlatih pada dataset yang luas dari imej teks bercetak yang dihasilkan secara sintetik dan kemudian disesuaikan dengan dataset seperti teks tulisan tangan IAM dan resit bercetak SROIE, menghasilkan variasi seperti trocr-small-sroie, trocr-base-sroie, dan trocr-large-sroie.

Seni Bina Trokr

Tidak seperti model OCR tradisional yang bergantung kepada CNN dan RNN, Trocr menggunakan seni bina pengubah visi dan bahasa. Pengekod memproses imej, membahagikannya ke dalam patch dan menggunakan perhatian multi-kepala dan blok ke hadapan untuk menghasilkan embeddings imej. Decoder kemudian memproses embeddings ini untuk menghasilkan output teks yang dikodkan, yang akhirnya dimulakan ke dalam teks yang boleh dibaca. Imej diproses sebelum patch saiz tetap (misalnya, 16x16).

Memperkenalkan Zhen Latex Ocr

Zhen Latex OCR, model sumber terbuka dari Mixtex, adalah satu lagi model pengekod pengekod yang kuat yang mengkhususkan diri dalam menukarkan imej formula matematik dan teks ke dalam kod lateks. Ia secara tepat mengiktiraf formula matematik lateks yang kompleks, jadual, dan juga membezakan antara kata -kata, teks, formula, dan jadual dalam satu imej. Ia menawarkan sokongan dwibahasa untuk bahasa Inggeris dan Cina.

Trocr vs Zhen Latex Ocr: Perbandingan

Trocr cemerlang dalam memproses imej teks satu baris, menawarkan kelebihan kelajuan ke atas beberapa model OCR yang lain. Zhen Latex OCR, bagaimanapun, bersinar dalam keupayaannya untuk mengendalikan formula matematik dan kod lateks, menyediakan alat yang berharga untuk penyelidik dan ahli akademik. Walaupun alat lain wujud untuk input lateks, Zhen Latex OCR menawarkan alternatif yang mudah dan cekap.

Menggunakan Trocr: Panduan Langkah demi Langkah

Kami akan menunjukkan menggunakan model Trocr yang disesuaikan dengan dataset SROIE.

Langkah 1: Mengimport perpustakaan

 Dari Transformers Import Trocrpressor, VisiCoderDecodermodel
dari gambar import pil
permintaan import

Langkah 2: Memuatkan gambar

 url = 'https://fki.tic.heia-fr.ch/static/img/a01-122-02-00.jpg'
image = image.open (requests.get (url, stream = true) .raw) .convert ("rgb")

Langkah 3: Memulakan model trokra

 pemproses = trocrprocessor.from_pretrained ('microsoft/trocr-base-cetak')
model = visiencoderdecodermodel.from_pretrained ('microsoft/trocr-base-dicetak')
pixel_values ​​= pemproses (imej = imej, return_tensors = "pt"). pixel_values

Langkah 4: Generasi Teks

 Generated_ids = Model.Generate (pixel_values)
GENERATED_TEXT = processor.batch_decode (Generated_IDS, SKIP_SPECIAL_TOKENS = true) [0]
cetak (dihasilkan_text.lower ()) output dalam huruf kecil 

Menggunakan Zhen Latex OCR untuk Pengiktirafan Imej Matematik dan LaTeX

Berikut adalah contoh ringkas menggunakan Zhen Latex OCR:

Langkah 1: Mengimport perpustakaan

 Dari Transformers Import Autotokenizer, VisiCoderDecodermodel, AutoimageProcessor
dari gambar import pil
permintaan import

feature_extractor = autoimageProcessor.from_pretrained ("mixtex/zhen-latex -ocr")
tokenizer = autotokenizer.from_pretrained ("mixtex/zhen-latex -ocr", max_len = 296)
model = visiencoderdecodermodel.from_pretrained ("mixtex/zhen-latex-ocr")

Langkah 2: memproses dan menjana lateks

 imgen = image.open (requests.get ('https://cdn-uploads.huggingface.co/production/uploads/62dbaade36292040577d2d4f/eoaym7fzdsjic_8ptsc-h.png',
latex_output = tokenizer.decode (model.generate (feature_extractor (imgen, return_tensors = "pt"). pixel_values) [0]).
Cetak (lateks_output) 

Penambahbaikan dan Peningkatan Masa Depan

Kedua -dua model mempunyai ruang untuk penambahbaikan. Trocr boleh mendapat manfaat daripada pengendalian teks dan imej yang lebih baik dari adegan semula jadi. Zhen Latex OCR boleh berkembang untuk menyokong formula matematik tulisan tangan dan jadual yang lebih kompleks.

Aplikasi dunia sebenar OCR

Model OCR mencari aplikasi yang meluas di pelbagai sektor:

• Kewangan: Mengaut automatik pengekstrakan data dari dokumen kewangan.
• Penjagaan Kesihatan: Digitisasi Rekod Pesakit dan Preskripsi.
• Kerajaan: Menyelaraskan pemprosesan dokumen dan penyimpanan rekod.

Kesimpulan

Trocr dan Zhen Latex OCR mewakili kemajuan yang ketara dalam teknologi imej-ke-teks. Dengan memahami kekuatan dan batasan mereka, kita dapat memanfaatkan alat-alat yang kuat ini untuk menyelesaikan masalah dunia di seluruh industri.

Takeaways Kunci:

• Trocr cemerlang dalam pengiktirafan teks tunggal.
• Zhen lateks OCR mengkhususkan diri dalam formula matematik dan kod lateks.
• Mengoptimumkan pemilihan model berdasarkan keperluan khusus adalah penting untuk hasil yang optimum.

Soalan yang sering ditanya

S1: Apakah perbezaan utama antara Trocr dan Zhen lateks Ocr? Trocr memberi tumpuan kepada pengekstrakan teks umum, manakala Zhen Latex OCR mengkhususkan diri dalam formula matematik dan lateks.

S2: Bilakah saya harus menggunakan zhen lateks Ocr dan bukannya trokrat? Gunakan Zhen Latex OCR semasa berurusan dengan persamaan matematik atau kod lateks; Jika tidak, Trocr sesuai.

S3: Bolehkah Zhen Latex OCR mengendalikan persamaan tulisan tangan? Pada masa ini, tidak, tetapi penambahbaikan masa depan boleh menangani perkara ini.

S4: Industri mana yang paling banyak mendapat manfaat daripada OCR? Kewangan, penjagaan kesihatan, dan kerajaan adalah antara benefisiari utama.

(Nota: Imej yang digunakan dalam artikel ini tidak dimiliki oleh penulis dan digunakan dengan kebenaran.)

Atas ialah kandungan terperinci Trocr dan Zhen lateks Ocr. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!