Selam dalam Microsoft MarkItDown

Apakah MarkItDown?

MarkItDown ialah pakej Python yang dibangunkan oleh Microsoft, direka untuk menukar pelbagai format fail kepada Markdown.

Sejak kemunculannya, pustaka ini telah melonjak dalam populariti, memperoleh lebih 25k bintang GitHub dalam masa dua minggu sahaja! ?

Apa yang Membuatkan MarkItDown Sangat Popular?

MarkItDown menawarkan sokongan yang teguh untuk pelbagai jenis fail, seperti:

• Format pejabat: Word, PowerPoint, Excel
• Fail media: Imej (dengan data EXIF ​​​​dan penerangan), Audio (dengan sokongan transkripsi)
• Format web dan data: HTML, JSON, XML, CSV
• Arkib: Fail ZIP

Keupayaannya untuk mengendalikan bukan sahaja format standard seperti Word tetapi juga data berbilang modal menjadikannya menonjol. Contohnya, ia menggunakan OCR dan pengecaman pertuturan untuk mengekstrak kandungan daripada imej dan fail audio.

Keupayaan untuk menukar apa-apa kepada Markdown menjadikan MarkItDown alat yang berkuasa untuk latihan LLM. Dengan memproses dokumen khusus domain, ia menyediakan konteks yang kaya untuk menjana respons yang lebih tepat dan berkaitan dalam aplikasi berkuasa LLM.

Bermula dengan MarkItDown

Menggunakan MarkItDown adalah sangat mudah - hanya 4 baris kod diperlukan:

from markitdown import MarkItDown

md = MarkItDown()
result = md.convert("test.xlsx")
print(result.text_content)

Berikut ialah beberapa kes penggunaan MarkItDown.

Menukar dokumen Word menjana Markdown yang bersih dan tepat:

Malah hamparan Excel berbilang tab dikendalikan dengan mudah:

ZIP arkib? Tiada masalah! Pustaka menghuraikan semua fail di dalamnya secara rekursif:

Pada mulanya, pengekstrakan imej mungkin tidak memberikan hasil:

Ini kerana MarkItDown bergantung pada LLM untuk menjana penerangan imej. Dengan menyepadukan pelanggan LLM, anda boleh mendayakan ciri ini:

from openai import OpenAI

client = OpenAI(api_key="i-am-not-an-api-key")

md = MarkItDown(llm_client=client, llm_model="gpt-4o")

Dengan konfigurasi sedia ada, fail imej boleh diproses dengan jayanya:

Nota: LLM tidak akan berurusan dengan PDF berasaskan imej. PDF memerlukan prapemprosesan OCR untuk mengekstrak kandungan.

Walau bagaimanapun, PDF kehilangan pemformatannya selepas pengekstrakan, oleh itu tajuk dan teks biasa tidak dibezakan:

Had

MarkItDown bukan tanpa hadnya:

• Fail PDF tanpa OCR tidak boleh diproses.
• Pemformatan tidak tersedia apabila mengekstrak daripada fail PDF.

Walau bagaimanapun, sebagai projek sumber terbuka, ia sangat boleh disesuaikan. Pembangun boleh melanjutkan fungsinya dengan mudah kerana pangkalan kodnya yang bersih.

Bagaimana MarkItDown Berfungsi

Seni bina MarkItDown adalah mudah dan modular.

Ia mempunyai kelas DocumentConverter, yang mentakrifkan kaedah convert() generik:

from markitdown import MarkItDown

md = MarkItDown()
result = md.convert("test.xlsx")
print(result.text_content)

Penukar individu mewarisi daripada kelas asas ini dan didaftarkan secara dinamik:

from openai import OpenAI

client = OpenAI(api_key="i-am-not-an-api-key")

md = MarkItDown(llm_client=client, llm_model="gpt-4o")

Pendekatan modular ini memudahkan anda menambah sokongan untuk jenis fail baharu.

Aliran Kerja Penukaran Fail

Dokumen Pejabat

Fail pejabat diubah menjadi HTML menggunakan perpustakaan seperti raksasa, panda atau pptx, dan kemudian ditukar kepada Markdown dengan BeautifulSoup.

Fail Audio

Audio ditranskripsikan dengan pustaka speech_recognition, yang menggunakan API Google.

(Microsoft, kenapa tidak Azure di sini? ?)

Imej

Pemprosesan imej melibatkan penjanaan kapsyen melalui gesaan LLM:
"Tulis penerangan terperinci untuk imej ini."

PDF

PDF dikendalikan oleh perpustakaan pdfminer tetapi kekurangan OCR terbina dalam. Anda mesti praproses PDF untuk pengekstrakan teks.

Menggunakan MarkItDown sebagai API

MarkItDown boleh dijalankan secara setempat, tetapi mengehosnya sebagai API membuka kunci fleksibiliti tambahan, menjadikannya mudah untuk disepadukan ke dalam aliran kerja seperti Zapier dan n8n.

Berikut ialah contoh mudah API MarkItDown menggunakan FastAPI:

class DocumentConverter:
    """Base class for all document converters."""

    def convert(
        self, local_path: str, **kwargs: Any
    ) -> Union[None, DocumentConverterResult]:
        raise NotImplementedError()

Untuk memanggil API:

self.register_page_converter(PlainTextConverter())
self.register_page_converter(HtmlConverter())
self.register_page_converter(DocxConverter())
self.register_page_converter(XlsxConverter())
self.register_page_converter(Mp3Converter())
self.register_page_converter(ImageConverter())
# ...

Mengehos API Tanpa Kos

Menghos API Python boleh menjadi rumit. Perkhidmatan tradisional seperti AWS EC2 atau DigitalOcean memerlukan penyewaan keseluruhan pelayan, yang sentiasa mahal.

Tetapi sekarang, anda boleh menggunakan Leapcell.

Ia adalah platform yang boleh mengehos pangkalan kod Python dalam cara tanpa pelayan - ia mengenakan bayaran hanya untuk setiap panggilan API, dengan penggunaan peringkat percuma yang banyak.

Hanya sambungkan repositori GitHub anda, tentukan arahan bina dan mulakan, dan anda sudah bersedia:

Kini anda mempunyai API MarkItDown yang dihoskan dalam awan, sedia untuk disepadukan ke dalam aliran kerja anda dan yang paling penting, hanya mengecaj apabila ia benar-benar dipanggil.

---

Mula membina API MarkItDown anda sendiri di Leapcell hari ini! ?

Atas ialah kandungan terperinci Selam dalam Microsoft MarkItDown. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!