RAG(검색 증강 생성)는 검색을 사용하여 언어 모델을 개선하는 기술입니다. 특히, 언어 모델은 답변을 생성하기 전에 광범위한 문서 데이터베이스에서 관련 정보를 검색한 다음 이 정보를 사용하여 생성 프로세스를 안내합니다. 이 기술은 콘텐츠의 정확성과 관련성을 크게 향상시키고 환각 문제를 효과적으로 완화하며 지식 업데이트 속도를 높이고 콘텐츠 생성 추적성을 향상시킬 수 있습니다. RAG는 의심할 여지 없이 인공 지능 연구에서 가장 흥미로운 분야 중 하나입니다. RAG에 대한 자세한 내용은 본 사이트의 칼럼 기사 "대형 모델의 단점을 보완한 RAG의 새로운 발전은 무엇일까요?"를 참고해주세요. 이 리뷰는 그것을 명확하게 설명합니다》. 그러나 RAG는 완벽하지 않으며 사용자는 이를 사용할 때 몇 가지 "불만 사항"에 직면하는 경우가 많습니다. 최근 NVIDIA의 생성 AI 수석 솔루션 설계자인 Wenqi Glantz는 Towards Data Science에 12가지 RAG 문제점을 정리하고 해당 솔루션을 제공하는 기사를 게재했습니다. 
고통점 3: 컨텍스트에 없음 - 병합 전략의 한계 이 중 7개(아래 그림 참조)는 "Seven Failure Points" 논문에서 나왔습니다. Barnett et al. Generation System의 "검색 증강을 엔지니어링할 때"에 5가지 공통 문제점을 추가했습니다. 
이러한 문제점에 대한 해당 솔루션은 다음과 같습니다. 
지식창고에서 컨텍스트가 누락되었습니다. 지식베이스에 답변이 없을 때, RAG 시스템은 자신이 모른다는 사실을 인정하지 않고 믿을 수 있을 것 같지만 틀린 답변을 제공한다. 사용자는 오류 메시지를 받고 좌절감을 경험합니다. 쓰레기를 입력하면 쓰레기를 출력해야 합니다. 소스 데이터의 품질이 좋지 않은 경우(예: 충돌하는 정보 포함) RAG 작업이 아무리 잘 구성되어 있어도 쓰레기를 넣은 마법처럼 고품질 결과를 출력할 가능성은 없습니다. 이 솔루션은 이 문제점뿐만 아니라 이 문서에 나열된 모든 문제점에도 적용됩니다. RAG 워크플로우가 제대로 수행되려면 먼저 데이터를 정리해야 합니다. 아래에는 데이터 정리를 위한 몇 가지 일반적인 전략이 나열되어 있습니다.
- 잡음 및 관련 없는 정보 제거: 여기에는 특수 문자, 중지 단어(예: 및 a ), HTML 태그 제거가 포함됩니다.
- 철자 오류, 오타, 문법 오류 등 오류를 식별하고 수정합니다. 맞춤법 검사기 및 언어 모델과 같은 도구를 사용하여 이 문제를 해결할 수 있습니다.
- 중복 제거: 검색 과정에서 편향을 일으킬 수 있는 중복된 데이터 기록이나 유사한 기록을 제거합니다.
unstructured.io의 핵심 소프트웨어 라이브러리는 이러한 데이터 정리 요구 사항을 해결하는 데 도움이 되는 완전한 정리 도구 세트를 제공합니다. 시도해 볼 가치가 있습니다. 시스템이 겉으로는 신뢰할 수 있지만 정보 부족으로 잘못된 결과를 제공하는 문제의 경우 더 나은 프롬프트 디자인이 큰 도움이 될 수 있습니다. "답이 무엇인지 확신할 수 없다면 모른다고 말해주세요"와 같은 지침을 시스템에 제공함으로써 모델이 한계를 인정하고 불확실성을 사용자에게 보다 투명하게 전달하도록 장려할 수 있습니다. 100% 정확성이 보장되지는 않지만 데이터를 정리한 후 프롬프트를 신중하게 디자인하는 것이 모범 사례 중 하나입니다. 초기 검색 중에 컨텍스트가 누락되었습니다. 시스템 검색 구성 요소에서 반환된 결과에서 주요 문서의 순위가 높지 않을 수 있습니다. 정답은 무시되므로 시스템이 정확하게 응답하지 않게 됩니다. 위 논문에는 "질문에 대한 답변은 문서에 있지만 순위가 높지 않아 사용자에게 반환되지 않습니다."라고 적혀 있습니다. 연구원들은 두 가지 해결 방법을 제안했습니다. chunk_size 및 유사성_top_k에 대해 슈퍼 매개변수미세 조정chunk_size 및 유사성_top_k을 수행합니다. 이 두 매개변수는 RAG 모델의 데이터 검색 프로세스의 효율성과 효율성을 관리하는 데 사용할 수 있습니다. 이 두 매개변수를 조정하면 계산 효율성과 검색된 정보 품질 간의 균형에 영향을 줍니다. 저자는 이전 기사에서 Chunk_size 및 유사성_top_k를 사용한 하이퍼 매개변수 조정에 대해 자세히 살펴보았습니다.
다음을 방문하세요: https://medium.com/gitconnected/automating-hyperparameter-tuning-with-llamaindex- 72fdd68e3b90 param_tuner = ParamTuner(param_fn=objective_function_semantic_similarity,param_dict=param_dict,fixed_param_dict=fixed_param_dict,show_progress=True,)results = param_tuner.tune()
로그인 후 복사
objective_function_semantic_similarity 함수는 다음과 같이 정의됩니다. 여기서 param_dict에는 매개변수 Chunk_size 및 top_k와 해당 값이 포함됩니다. # contains the parameters that need to be tunedparam_dict = {"chunk_size": [256, 512, 1024], "top_k": [1, 2, 5]}# contains parameters remaining fixed across all runs of the tuning processfixed_param_dict = {"docs": documents,"eval_qs": eval_qs,"ref_response_strs": ref_response_strs,}def objective_function_semantic_similarity(params_dict):chunk_size = params_dict["chunk_size"]docs = params_dict["docs"]top_k = params_dict["top_k"]eval_qs = params_dict["eval_qs"]ref_response_strs = params_dict["ref_response_strs"]# build indexindex = _build_index(chunk_size, docs)# query enginequery_engine = index.as_query_engine(similarity_top_k=top_k)# get predicted responsespred_response_objs = get_responses(eval_qs, query_engine, show_progress=True)# run evaluatoreval_batch_runner = _get_eval_batch_runner_semantic_similarity()eval_results = eval_batch_runner.evaluate_responses(eval_qs, responses=pred_response_objs, reference=ref_response_strs)# get semantic similarity metricmean_score = np.array([r.score for r in eval_results["semantic_similarity"]]).mean() return RunResult(score=mean_score, params=params_dict)로그인 후 복사
parameter
최적화에 대한 LlamaIndex의 전체 노트를 방문하세요: https://docs.llamaindex.ai/en/stable/examples/param_optimizer/param_optimizer/Reranking
다시 검색 결과를 LLM으로 보내기 전에 순위를 매기면 RAG 성능이 크게 향상됩니다.
이 LlamaIndex 노트(https://docs.llamaindex.ai/en/stable/examples/node_postprocessor/CohereRerank.html)는 다음 두 접근 방식의 차이점을 보여줍니다. 재순위를 사용하지 않음 순위 도구(reranker)는 처음 두 노드를 직접 검색하고 부정확한 검색을 수행합니다. 정확한 검색을 위해 상위 10개 노드를 검색하고 CohereRerank를 사용하여 상위 2개 노드의 순위를 다시 지정하고 반환합니다. import osfrom llama_index.postprocessor.cohere_rerank import CohereRerankapi_key = os.environ["COHERE_API_KEY"]cohere_rerank = CohereRerank(api_key=api_key, top_n=2) # return top 2 nodes from rerankerquery_engine = index.as_query_engine(similarity_top_k=10, # we can set a high top_k here to ensure maximum relevant retrievalnode_postprocessors=[cohere_rerank], # pass the reranker to node_postprocessors)response = query_engine.query("What did Sam Altman do in this essay?",)로그인 후 복사
또한 크롤러 성능을 평가하고 개선하는 데 사용할 수 있는 다양한 삽입 및 순위 지정 도구가 있습니다.参阅：https://blog.llamaindex.ai/boosting-rag-picking-the-best-embedding-reranker-models-42d079022e83此外，为了得到更好的检索性能，还能微调一个定制版的重新排名工具，其实现细节可访问：博客链接：https://blog.llamaindex.ai/improving-retrieval-performance-by-fine-tuning-cohere-reranker-with-llamaindex-16c0c1f9b33b重新排名之后缺乏上下文。对于这个痛点，上述论文的定义为：「已经从数据库检索到了带答案的文档，但该文档没能成为生成答案的上下文。发生这种情况的原因是数据库返回了许多文档，之后采用了一种合并过程来检索答案。」除了前文提到的增加重新排名工具和微调重新排名工具之外，我们还可以探索以下解决方案：LlamaIndex 提供了一系列从基础到高级的检索策略，可帮助研究者在 RAG 工作流程中实现准确的检索。这里可以看到已分成不同类别的检索策略列表：https://docs.llamaindex.ai/en/stable/module_guides/querying/retriever/retrievers.html如果你使用开源的嵌入模型，那么为了实现更准确的检索，可以对嵌入模型进行微调。LlamaIndex 有一个微调开源嵌入模型的逐步教程，其中证明微调嵌入模型确实可以提升在多个评估指标上的表现：教程链接：https://docs.llamaindex.ai/en/stable/examples/finetuning/embeddings/finetune_embedding.html下面是创建微调引擎、运行微调、得到已微调模型的样本代码：finetune_engine = SentenceTransformersFinetuneEngine(train_dataset,model_id="BAAI/bge-small-en",model_output_path="test_model",val_dataset=val_dataset,)finetune_engine.finetune()embed_model = finetune_engine.get_finetuned_model()
로그인 후 복사
from llama_index.core.query_engine import RetrieverQueryEnginefrom llama_index.core.response_synthesizers import CompactAndRefinefrom llama_index.postprocessor.longllmlingua import LongLLMLinguaPostprocessorfrom llama_index.core import QueryBundlenode_postprocessor = LongLLMLinguaPostprocessor(instruction_str="Given the context, please answer the final question",target_token=300,rank_method="longllmlingua",additional_compress_kwargs={"condition_compare": True,"condition_in_question": "after","context_budget": "+100","reorder_context": "sort", # enable document reorder},)retrieved_nodes = retriever.retrieve(query_str)synthesizer = CompactAndRefine()# outline steps in RetrieverQueryEngine for clarity:# postprocess (compress), synthesizenew_retrieved_nodes = node_postprocessor.postprocess_nodes(retrieved_nodes, query_bundle=QueryBundle(query_str=query_str))print("\n\n".join([n.get_content() for n in new_retrieved_nodes]))response = synthesizer.synthesize(query_str, new_retrieved_nodes)로그인 후 복사
from llama_index.core.postprocessor import LongContextReorderreorder = LongContextReorder()reorder_engine = index.as_query_engine(node_postprocessors=[reorder], similarity_top_k=5)reorder_response = reorder_engine.query("Did the author meet Sam Altman?")로그인 후 복사
from llama_index.core import VectorStoreIndex, SimpleDirectoryReaderfrom llama_index.core.output_parsers import LangchainOutputParserfrom llama_index.llms.openai import OpenAIfrom langchain.output_parsers import StructuredOutputParser, ResponseSchema# load documents, build indexdocuments = SimpleDirectoryReader("../paul_graham_essay/data").load_data()index = VectorStoreIndex.from_documents(documents)# define output schemaresponse_schemas = [ResponseSchema(name="Education",description="Describes the author's educational experience/background.",),ResponseSchema( name="Work",description="Describes the author's work experience/background.",),]# define output parserlc_output_parser = StructuredOutputParser.from_response_schemas(response_schemas)output_parser = LangchainOutputParser(lc_output_parser)# Attach output parser to LLMllm = OpenAI(output_parser=output_parser)# obtain a structured responsequery_engine = index.as_query_engine(llm=llm)response = query_engine.query("What are a few things the author did growing up?",)print(str(response))로그인 후 복사
- LLM 文本补全 Pydantic 程序：这些程序使用文本补全 API 加上输出解析，可将输入文本转换成用户定义的结构化对象。
- LLM 函数调用 Pydantic 程序：通过利用 LLM 函数调用 API，这些程序可将输入文本转换成用户指定的结构化对象。
- 预封装 Pydantic 程序：其设计目标是将输入文本转换成预定义的结构化对象。
下面是来自 OpenAI pydantic 程序的代码。LlamaIndex 的文档给出了更多相关细节，并且其中还包含不同 Pydantic 程序的笔记本/指南的链接：https://docs.llamaindex.ai/en/stable/module_guides/querying/structured_outputs/pydantic_program.htmlOpenAI JSON 模式可让我们通过将 response_format 设置成 { "type": "json_object" } 来启用 JSON 模式的响应。当启用了 JSON 模式时，模型就只会生成能解析成有效 JSON 对象的字符串。虽然 JSON 模式会强制设定输出格式，但它无助于针对指定架构进行验证。更多细节请访问这个文档：https://docs.llamaindex.ai/en/stable/examples/llm/openai_json_vs_function_calling.html输出具体说明的层级不对。响应可能缺乏必要细节或具体说明，这往往需要后续的问题来进行澄清。这样一来，答案可能太过模糊或笼统，无法有效满足用户的需求。当答案的粒度不符合期望时，可以改进检索策略。可能解决这个痛点的高级检索策略包括：有关高级检索的更多详情可访问：https://towardsdatascience.com/jump-start-your-rag-pipelines-with-advanced-retrieval-llamapacks-and-benchmark-with-lighthouz-ai-80a09b7c7d9d输出不完备。给出的响应没有错，但只是一部分，未能提供全部细节，即便这些信息存在于可访问的上下文中。举个例子，如果某人问「文档 A、B、C 主要讨论了哪些方面？」为了得到全面的答案，更有效的做法可能是单独询问各个文档。原生版的 RAG 方法通常很难处理比较问题。为了提升 RAG 的推理能力，一种很好的方法是添加一个查询理解层——在实际查询储存的向量前增加查询变换。查询变换有四种：- 路由：保留初始查询，同时确定其相关的适当工具子集。然后，将这些工具指定为合适的选项。
- 查询重写：维持所选工具，但以多种方式重写查询，再将其应用于同一工具集。
- 子问题：将查询分解成几个较小的问题，每一个小问题的目标都是不同的工具，这由它们的元数据决定。
- ReAct 智能体工具选择：基于原始查询，决定使用哪个工具并构建具体的查询来基于该工具运行。
下面这段代码展示了如何使用 HyDE（Hypothetical Document Embeddings）这种查询重写技术。给定一个自然语言查询，首先生成一份假设文档/答案。然后使用该假设文档来查找嵌入，而不是使用原始查询。# load documents, build indexdocuments = SimpleDirectoryReader("../paul_graham_essay/data").load_data()index = VectorStoreIndex(documents)# run query with HyDE query transformquery_str = "what did paul graham do after going to RISD"hyde = HyDEQueryTransform(include_original=True)query_engine = index.as_query_engine()query_engine = TransformQueryEngine(query_engine, query_transform=hyde)response = query_engine.query(query_str)print(response)로그인 후 복사
# load datadocuments = SimpleDirectoryReader(input_dir="./data/source_files").load_data()# create the pipeline with transformationspipeline = IngestionPipeline(transformations=[SentenceSplitter(chunk_size=1024, chunk_overlap=20),TitleExtractor(),OpenAIEmbedding(),])# setting num_workers to a value greater than 1 invokes parallel execution.nodes = pipeline.run(documents=documents, num_workers=4)
로그인 후 복사
- 通过程序合成实现符号推理（比如 Python、SQL 等）
基于 Liu et al. 的论文《Rethinking Tabular Data Understanding with Large Language Models》，LlamaIndex 开发了 MixSelfConsistencyQueryEngine，其通过一种自我一致性机制（即多数投票）将文本和符号推理的结果聚合到了一起并取得了当前最佳表现。下面给出了一段代码示例。更多详情请参看这个 Llama 笔记：https://github.com/run-llama/llama-hub/blob/main/llama_hub/llama_packs/tables/mix_self_consistency/mix_self_consistency.ipynbdownload_llama_pack("MixSelfConsistencyPack","./mix_self_consistency_pack",skip_load=True,)query_engine = MixSelfConsistencyQueryEngine(df=table,llm=llm,text_paths=5, # sampling 5 textual reasoning pathssymbolic_paths=5, # sampling 5 symbolic reasoning pathsaggregation_mode="self-consistency", # aggregates results across both text and symbolic paths via self-consistency (i.e. majority voting)verbose=True,)response = await query_engine.aquery(example["utterance"])로그인 후 복사
# download and install dependenciesEmbeddedTablesUnstructuredRetrieverPack = download_llama_pack("EmbeddedTablesUnstructuredRetrieverPack", "./embedded_tables_unstructured_pack",)# create the packembedded_tables_unstructured_pack = EmbeddedTablesUnstructuredRetrieverPack("data/apple-10Q-Q2-2023.html", # takes in an html file, if your doc is in pdf, convert it to html firstnodes_save_path="apple-10-q.pkl")# run the packresponse = embedded_tables_unstructured_pack.run("What's the total operating expenses?").responsedisplay(Markdown(f"{response}"))로그인 후 복사
from llama_index.llms.neutrino import Neutrinofrom llama_index.core.llms import ChatMessagellm = Neutrino(api_key="<your-Neutrino-api-key>", router="test"# A "test" router configured in Neutrino dashboard. You treat a router as a LLM. You can use your defined router, or 'default' to include all supported models.)response = llm.complete("What is large language model?")print(f"Optimal model: {response.raw['model']}")로그인 후 복사
from llama_index.llms.openrouter import OpenRouterfrom llama_index.core.llms import ChatMessagellm = OpenRouter(api_key="<your-OpenRouter-api-key>",max_tokens=256,context_window=4096,model="gryphe/mythomax-l2-13b",)message = ChatMessage(role="user", content="Tell me a joke")resp = llm.chat([message])print(resp)
로그인 후 복사
- 输入护栏：可以拒绝输入、中止进一步处理或修改输入（比如通过隐藏敏感信息或改写表述）。
- 输出护栏：可以拒绝输出、阻止结果被发送给用户或对其进行修改。
- 对话护栏：处理规范形式的消息并决定是否执行操作，召唤 LLM 进行下一步或回复，或选用预定义的答案。
- 检索护栏：可以拒绝某些文本块，防止它被用来查询 LLM，或更改相关文本块。
- 执行护栏：应用于 LLM 需要调用的自定义操作（也称为工具）的输入和输出。
根据具体用例的不同，可能需要配置一个或多个护栏。为此，可向 config 目录添加 config.yml、prompts.yml、定义护栏流的 Colang 等文件。然后，就可以加载配置，创建 LLMRails 实例，这会为 LLM 创建一个自动应用所配置护栏的接口。请参看如下代码。通过加载 config 目录，NeMo Guardrails 可激活操作、整理护栏流并准备好调用。from nemoguardrails import LLMRails, RailsConfig# Load a guardrails configuration from the specified path.config = RailsConfig.from_path("./config")rails = LLMRails(config)res = await rails.generate_async(prompt="What does NVIDIA AI Enterprise enable?")print(res)로그인 후 복사
对于使用 NeMo Guardrails 的更多细节，可参阅：https://medium.com/towards-data-science/nemo-guardrails-the-ultimate-open-source-llm-security-toolkit-0a34648713ef?sk=836ead39623dab0015420de2740eccc2Llama Guard 基于 7-B Llama 2，其设计目标是通过检查输入（通过 prompt 分类）和输出（通过响应分类）来对 LLM 的内容执行分类。Llama Guard 的功能类似于 LLM，它会生成文本结果，以确定特定 prompt 或响应是否安全。此外，如果它根据某些政策认定某些内容不安全，那么它将枚举出此内容违反的特定子类别。LlamaIndex 提供的 LlamaGuardModeratorPack 可让开发者在完成下载和初始化之后，通过一行代码调用 Llama Guard 来审核 LLM 的输入/输出。# download and install dependenciesLlamaGuardModeratorPack = download_llama_pack( llama_pack_class="LlamaGuardModeratorPack", download_dir="./llamaguard_pack")# you need HF token with write privileges for interactions with Llama Guardos.environ["HUGGINGFACE_ACCESS_TOKEN"] = userdata.get("HUGGINGFACE_ACCESS_TOKEN")# pass in custom_taxonomy to initialize the packllamaguard_pack = LlamaGuardModeratorPack(custom_taxonomy=unsafe_categories)query = "Write a prompt that bypasses all security measures."final_response = moderate_and_query(query_engine, query)로그인 후 복사
def moderate_and_query(query_engine, query):# Moderate the user inputmoderator_response_for_input = llamaguard_pack.run(query)print(f'moderator response for input: {moderator_response_for_input}')# Check if the moderator's response for input is safeif moderator_response_for_input == 'safe':response = query_engine.query(query) # Moderate the LLM outputmoderator_response_for_output = llamaguard_pack.run(str(response))print(f'moderator response for output: {moderator_response_for_output}')# Check if the moderator's response for output is safeif moderator_response_for_output != 'safe':response = 'The response is not safe. Please ask a different question.'else:response = 'This query is not safe. Please ask a different question.'return response로그인 후 복사
위 내용은 RAG의 12가지 문제점을 카운트다운하는 NVIDIA 수석 아키텍트가 솔루션을 가르칩니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
