MarkItDown 是微软开发的一个 Python 包,旨在将多种文件格式转换为 Markdown。
自推出以来,该库的受欢迎程度直线上升,在短短两周内就获得了超过 25k 的 GitHub 星! ?
MarkItDown 为多种文件类型提供强大的支持,例如:
它不仅能够处理 Word 等标准格式,还能够处理多模式数据,这使其脱颖而出。例如,它使用 OCR 和语音识别从图像和音频文件中提取内容。
将任何内容转换为 Markdown 的能力使 MarkItDown 成为 LLM 培训的强大工具。通过处理特定领域的文档,它提供了丰富的上下文,以便在 LLM 支持的应用程序中生成更准确和相关的响应。
使用 MarkItDown 非常简单 - 只需要 4 行代码:
from markitdown import MarkItDown md = MarkItDown() result = md.convert("test.xlsx") print(result.text_content)
这是 MarkItDown 的一些用例。
转换 Word 文档会生成干净且准确的 Markdown:
即使是多选项卡 Excel 电子表格也能轻松处理:
ZIP 档案?没问题!该库递归地解析其中的所有文件:
最初,图像提取可能不会产生任何结果:
这是因为 MarkItDown 依赖于 LLM 来生成图像描述。通过集成LLM客户端,您可以启用此功能:
from openai import OpenAI client = OpenAI(api_key="i-am-not-an-api-key") md = MarkItDown(llm_client=client, llm_model="gpt-4o")
配置到位后,可以成功处理图像文件:
注意:LLM 不会处理基于图像的 PDF。 PDF 需要 OCR 预处理来提取内容。
但是,PDF 在提取时会丢失格式,因此无法区分标题和纯文本:
MarkItDown 并非没有局限性:
尽管如此,作为一个开源项目,它是高度可定制的。由于其干净的代码库,开发人员可以轻松扩展其功能。
MarkItDown 的架构简单且模块化。
它有一个DocumentConverter类,它定义了一个通用的convert()方法:
from markitdown import MarkItDown md = MarkItDown() result = md.convert("test.xlsx") print(result.text_content)
各个转换器继承自该基类并动态注册:
from openai import OpenAI client = OpenAI(api_key="i-am-not-an-api-key") md = MarkItDown(llm_client=client, llm_model="gpt-4o")
这种模块化方法可以轻松添加对新文件类型的支持。
使用 mammoth、pandas 或 pptx 等库将 Office 文件转换为 HTML,然后使用 BeautifulSoup 转换为 Markdown。
音频是通过使用Google API 的speech_recognition 库转录的。
(微软,为什么这里没有 Azure??)
图像处理涉及通过 LLM 提示生成标题:
“为这张图片写下详细的描述。”
PDF 由 pdfminer 库处理,但缺乏内置 OCR。您必须预处理 PDF 才能提取文本。
MarkItDown 可以在本地运行,但将其作为 API 托管可以释放额外的灵活性,使其可以轻松集成到 Zapier 和 n8n 等工作流程中。
这是使用 FastAPI 的 MarkItDown API 的简单示例:
class DocumentConverter: """Base class for all document converters.""" def convert( self, local_path: str, **kwargs: Any ) -> Union[None, DocumentConverterResult]: raise NotImplementedError()
调用API:
self.register_page_converter(PlainTextConverter()) self.register_page_converter(HtmlConverter()) self.register_page_converter(DocxConverter()) self.register_page_converter(XlsxConverter()) self.register_page_converter(Mp3Converter()) self.register_page_converter(ImageConverter()) # ...
托管 Python API 可能很棘手。 AWS EC2 或 DigitalOcean 等传统服务需要租用整个服务器,这总是很昂贵的。
但是现在,您可以使用Leapcell。
这是一个可以以无服务器方式托管 Python 代码库的平台 - 它仅按 API 调用收费,并且提供慷慨的免费使用。
只需连接您的 GitHub 存储库,定义构建和启动命令,就可以了:
现在您拥有了一个托管在云端的 MarkItDown API,可以集成到您的工作流程中,最重要的是,仅在真正调用时收费。
立即开始在 Leapcell 上构建您自己的 MarkItDown API! ?
以上是深入了解 Microsoft MarkItDown的详细内容。更多信息请关注PHP中文网其他相关文章!