LMQL简介：SQL和大语言模型之间的桥梁

结构化查询语言

> SQL是数据库管理的基石，可实现有效的数据存储，检索和操纵。 它的广泛采用源于其在处理大量数据集中的简单性和有效性。但是，不断发展的数据格局引入了新的挑战。

人工智能和大语言模型（LLM）的兴起提供了强大的工具，但是与它们进行互动可能很麻烦。 这是lmql进入的地方。

LMQL由SRI实验室开发，LMQL充当开发人员和LLM之间的桥梁。 它将SQL的结构化查询能力带入了语言模型的世界，简化了互动并提高效率。

此教程封面：

什么是lmql？

• 为什么使用lmql？
• >设置LMQL
• 实用的LMQL应用
• lmql限制
• 最佳实践
什么是lmql？

LMQL或语言模型查询语言是一种专为LLM设计的新型编程语言。 它将类似SQL的声明性特征与命令性脚本语法相结合，提供了一种更结构化的信息提取方法和从LLMS产生响应的方法。

>

>重要的是，LMQL扩展了Python，添加了新功能并扩大了其功能。 这使开发人员可以制作自然语言提示结合文本和代码，从而提高查询灵活性和表现力。 正如其创建者所说的那样，LMQL无缝将LLM交互作用整合到程序代码中，超越了传统的模板。 它是在研究论文中引入的，“提示是编程：用于大语模型的查询语言”，作为“语言模型提示”（LMP）的解决方案。

llms excel在问题回答和代码生成等任务上，基于输入概率生成逻辑序列。 LMP通过使用语言说明或示例来触发任务来利用此功能。 高级技术甚至允许用户，模型和外部工具之间进行交互。

挑战在于为特定任务实现最佳性能或量身定制LLM，通常需要复杂的，特定于任务的程序，这些程序仍可能取决于临时交互。 LMQL通过提供文本提示和脚本的直观混合来解决此问题，从而使用户能够在LLM输出上定义约束。

为什么使用lmql？

>虽然可以从概念上提示现代LLM，从而最大程度地发挥其潜力并适应新模型，需要深入了解其内部工作和供应商特定的工具。 由于令牌化，诸如将输出限制为特定单词或短语的任务可能很复杂。 此外，使用LLM，无论是在本地还是通过API，由于其尺寸而昂贵。LMQL减轻这些问题。它通过利用预定义的行为和搜索约束来减少LLM调用。 它还简化了提示技术，通常涉及用户和模型或专用接口之间的迭代通信。 LMQL的约束功能对于生产环境至关重要，可确保可预测且可加工的产出。 例如，在情感分析中，LMQL可确保像“正”，“负”或“中性”之类的一致输出，而不是更多的冗长，不容易解析的响应。 人类可读的约束取代了直接与模型令牌一起使用的需求。

>

>设置LMQL

LMQL可以在本地安装，也可以通过其在线游乐场IDE访问。对于使用Transformers或Llama.cpp。

>安装和环境设置

本地安装很简单：

用于使用pytorch＆gt; = 1.11：的GPU支持

pip install lmql

建议使用虚拟环境。

>

存在运行LMQL程序的三种方法：

pip install lmql[hf]

>

>游乐场：

>启动基于浏览器的IDE（需要node.js）。通过

> https://www.php.cn/link/4a914e5c38172ae9b61780ffbd0b2f90
1. 访问。 在 > python集成：lmql playground import and使用或> decorator。
。
2. 在操场或命令行中使用本地变压器模型时，使用>。lmql run启动LMQL推理API .lmql理解LMQL语法
3. lmql程序有五个关键部分： lmqllmql.run查询：@lmql.query用户和LLM之间的主要通信方法。 用于生成的文本，

用于可变检索。

> lmql serve-model

>解码器：指定解码算法（例如，梁搜索）。可以在查询或外部（以python）中定义。

>模型：加载的，并将其传递到外部或使用子句。 使用各种约束（停止短语，数据类型，字符/令牌长度，以下等级，以下等级，自定义约束）。

• >分布：定义输出格式和结构。 [varname]> LMQL限制和社区支持{varname} LMQL的相对新颖性导致了一个小社区和不那么全面的文档。 OpenAI API的限制还限制了某些模型（例如ChatGpt）的全面利用。 但是，正在进行的发展有望得到改进。

结论

LMQL提供了一种与LLMS交互的功能强大的SQL风格的方法。它的Python集成和约束功能使其成为各种应用程序的宝贵工具。 要进一步学习，请探索有关LlamainDex的资源，CHATGPT替代方案，LLM与Pytorch，Langchain和Cohere Api的培训。

以上是LMQL简介：SQL和大语言模型之间的桥梁的详细内容。更多信息请关注PHP中文网其他相关文章！