首页 > 后端开发 > Python教程 > 深入了解 Microsoft MarkItDown

深入了解 Microsoft MarkItDown

Linda Hamilton
发布: 2024-12-26 16:14:20
原创
302 人浏览过

什么是 MarkItDown?

MarkItDown 是微软开发的一个 Python 包,旨在将多种文件格式转换为 Markdown。

自推出以来,该库的受欢迎程度直线上升,在短短两周内就获得了超过 25k 的 GitHub 星! ?

Deep Dive into Microsoft MarkItDown

是什么让 MarkItDown 如此受欢迎?

MarkItDown 为多种文件类型提供强大的支持,例如:

  • 办公格式:Word、PowerPoint、Excel
  • 媒体文件:图像(带有 EXIF 数据和描述)、音频(带有转录支持)
  • 网络和数据格式:HTML、JSON、XML、CSV
  • 档案:ZIP 文件

它不仅能够处理 Word 等标准格式,还能够处理多模式数据,这使其脱颖而出。例如,它使用 OCR 和语音识别从图像和音频文件中提取内容。

将任何内容转换为 Markdown 的能力使 MarkItDown 成为 LLM 培训的强大工具。通过处理特定领域的文档,它提供了丰富的上下文,以便在 LLM 支持的应用程序中生成更准确和相关的响应。

开始使用 MarkItDown

使用 MarkItDown 非常简单 - 只需要 4 行代码:

from markitdown import MarkItDown

md = MarkItDown()
result = md.convert("test.xlsx")
print(result.text_content)
登录后复制
登录后复制

这是 MarkItDown 的一些用例。

转换 Word 文档会生成干净且准确的 Markdown:

Deep Dive into Microsoft MarkItDown

即使是多选项卡 Excel 电子表格也能轻松处理:

Deep Dive into Microsoft MarkItDown

ZIP 档案?没问题!该库递归地解析其中的所有文件:

Deep Dive into Microsoft MarkItDown

最初,图像提取可能不会产生任何结果:

Deep Dive into Microsoft MarkItDown

这是因为 MarkItDown 依赖于 LLM 来生成图像描述。通过集成LLM客户端,您可以启用此功能:

from openai import OpenAI

client = OpenAI(api_key="i-am-not-an-api-key")

md = MarkItDown(llm_client=client, llm_model="gpt-4o")
登录后复制
登录后复制

配置到位后,可以成功处理图像文件:

Deep Dive into Microsoft MarkItDown

注意:LLM 不会处理基于图像的 PDF。 PDF 需要 OCR 预处理来提取内容。

Deep Dive into Microsoft MarkItDown

但是,PDF 在提取时会丢失格式,因此无法区分标题和纯文本:

Deep Dive into Microsoft MarkItDown

局限性

MarkItDown 并非没有局限性:

  • 没有 OCR 的 PDF 文件无法处理。
  • 从 PDF 文件中提取时无法进行格式化。

尽管如此,作为一个开源项目,它是高度可定制的。由于其干净的代码库,开发人员可以轻松扩展其功能。

MarkItDown 的工作原理

MarkItDown 的架构简单且模块化。

它有一个DocumentConverter类,它定义了一个通用的convert()方法:

from markitdown import MarkItDown

md = MarkItDown()
result = md.convert("test.xlsx")
print(result.text_content)
登录后复制
登录后复制

各个转换器继承自该基类并动态注册:

from openai import OpenAI

client = OpenAI(api_key="i-am-not-an-api-key")

md = MarkItDown(llm_client=client, llm_model="gpt-4o")
登录后复制
登录后复制

这种模块化方法可以轻松添加对新文件类型的支持。

文件转换工作流程

办公文件

使用 mammoth、pandas 或 pptx 等库将 Office 文件转换为 HTML,然后使用 BeautifulSoup 转换为 Markdown。

Deep Dive into Microsoft MarkItDown

音频文件

音频是通过使用Google API 的speech_recognition 库转录的。

(微软,为什么这里没有 Azure??)

Deep Dive into Microsoft MarkItDown

图片

图像处理涉及通过 LLM 提示生成标题:
“为这张图片写下详细的描述。”

Deep Dive into Microsoft MarkItDown

PDF 文件

PDF 由 pdfminer 库处理,但缺乏内置 OCR。您必须预处理 PDF 才能提取文本。

Deep Dive into Microsoft MarkItDown

将 MarkItDown 部署为 API

MarkItDown 可以在本地运行,但将其作为 API 托管可以释放额外的灵活性,使其可以轻松集成到 Zapier 和 n8n 等工作流程中。

这是使用 FastAPI 的 MarkItDown API 的简单示例:

class DocumentConverter:
    """Base class for all document converters."""

    def convert(
        self, local_path: str, **kwargs: Any
    ) -> Union[None, DocumentConverterResult]:
        raise NotImplementedError()
登录后复制

调用API:

self.register_page_converter(PlainTextConverter())
self.register_page_converter(HtmlConverter())
self.register_page_converter(DocxConverter())
self.register_page_converter(XlsxConverter())
self.register_page_converter(Mp3Converter())
self.register_page_converter(ImageConverter())
# ...
登录后复制

免费托管 API

托管 Python API 可能很棘手。 AWS EC2 或 DigitalOcean 等传统服务需要租用整个服务器,这总是很昂贵的。

但是现在,您可以使用Leapcell。

这是一个可以以无服务器方式托管 Python 代码库的平台 - 它仅按 API 调用收费,并且提供慷慨的免费使用。

只需连接您的 GitHub 存储库,定义构建和启动命令,就可以了:

Deep Dive into Microsoft MarkItDown

现在您拥有了一个托管在云端的 MarkItDown API,可以集成到您的工作流程中,最重要的是,仅在真正调用时收费。


立即开始在 Leapcell 上构建您自己的 MarkItDown API! ?

Deep Dive into Microsoft MarkItDown

以上是深入了解 Microsoft MarkItDown的详细内容。更多信息请关注PHP中文网其他相关文章!

来源:dev.to
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
作者最新文章
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板