通过检索增强发电（RAG）和RERANKING提高LLM精度

>解锁增强llms的力量：检索效果（抹布）和重新启动

大型语言模型（LLM）彻底改变了AI，但是幻觉和过时的信息之类的限制阻碍了其准确性。 通过将LLMS与动态信息检索相结合，检索增强的生成（RAG）和Reranking提供解决方案。 让我们探索这种功能强大的组合。

为什么抹布增强了llms？ 在各种NLP任务上

llms excel，如下所示：

> LLMS

IvánPalomares
1. 但是，LLM有时会在上下文适当的响应中挣扎，产生错误或荒谬的信息（幻觉）。 此外，他们的知识受培训数据的“知识截止”点的限制。 例如，在2024年1月之前接受过培训的LLM不会知道当月出现的新流感株。 再培训LLMS经常在计算上很昂贵。 抹布提供了更有效的替代方案。 抹布利用外部知识基础来补充LLM的内部知识。这可以提高响应质量，相关性和准确性，而无需不断再培训。 抹布的工作流程是：
2. QUERY：
>接收到用户的问题。
3. 检索：>系统访问知识库，识别相关文档。

生成：

> llm结合了查询并检索了文档以制定响应。

>

重新固定：优化检索
1. > RERANKING完善了检索的文档，以优先考虑特定查询和上下文的最相关信息。 该过程涉及：
2. 初始检索：一个系统（例如，使用TF-IDF或向量空间模型）检索一组文档。>

> reranking：

>一种更复杂的机制基于其他条件（用户偏好，上下文，高级算法）。>

reranking Process | IvánPalomares

与推荐系统不同，重新考虑的重点是实时查询响应，而不是主动的建议。

> RERANKING在抹布增强的LLMS中的价值

重读可显着增强抹布供电的LLM。 在初始文档检索后，重新管理确保LLM使用最相关和高质量的信息，提高响应准确性和相关性，尤其是在专业领域。

> reranker types

存在各种重读方法，包括：

• 多矢量rerankers：>使用多个向量表示以提高相似性匹配。
• 学习排名（LTR）：使用机器学习学习最佳排名。
• 基于伯特的rerankers：利用伯特的语言理解能力。
• >增强学习重读者：根据用户交互数据优化排名。
• >杂交rerankers：结合多种策略。
>

>用重新固定（langchain示例）构建抹布管道

>本节使用Langchain库重新播放，展示了简化的RAG管道。 （在Google CoLab笔记本上可用的完整代码 - 简短省略的链接）。 该示例处理文本文件，创建嵌入式，使用OpenAI的LLM，并根据余弦相似性合并自定义的重新依给功能。 该代码既展示一个版本，又不重新播放，并且启用了Reranking的精制版本。

>

进一步探索

抹布是LLM技术的关键进步。 本文介绍了Reranking在增强抹布管道中的作用。 要深入潜水，请探索有关抹布的资源，其性能改进以及Langchain在LLM应用程序开发方面的功能。 （省略为简短的链接）。

>

以上是通过检索增强发电（RAG）和RERANKING提高LLM精度的详细内容。更多信息请关注PHP中文网其他相关文章！