Nutzung von Wissensgraphen, um die Fähigkeiten von RAG-Modellen zu verbessern und falsche Eindrücke von großen Modellen zu verringern

Illusion ist ein häufiges Problem bei der Verwendung großer Sprachmodelle (LLM). Obwohl LLM glatte und kohärente Texte erzeugen kann, sind die generierten Informationen oft ungenau oder inkonsistent. Um LLM-Halluzinationen vorzubeugen, können externe Wissensquellen wie Datenbanken oder Wissensgraphen zur Bereitstellung sachlicher Informationen genutzt werden. Auf diese Weise kann sich LLM auf diese zuverlässigen Datenquellen verlassen, was zu genaueren und zuverlässigeren Textinhalten führt.

Vektordatenbank und Wissensgraph

Vektordatenbank

Eine Vektordatenbank ist ein Satz hochdimensionaler Vektoren, die Entitäten oder Konzepte darstellen. Sie können verwendet werden, um die Ähnlichkeit oder Korrelation zwischen verschiedenen Entitäten oder Konzepten zu messen, die anhand ihrer Vektordarstellungen berechnet werden.

Eine Vektordatenbank kann Ihnen anhand der Vektorentfernung sagen, dass „Paris“ und „Frankreich“ stärker verwandt sind als „Paris“ und „Deutschland“.

Das Abfragen einer Vektordatenbank umfasst normalerweise die Suche nach ähnlichen Vektoren oder das Abrufen von Vektoren basierend auf bestimmten Kriterien. Das Folgende ist ein einfaches Beispiel für die Abfrage einer Vektordatenbank.

Angenommen, es gibt eine hochdimensionale Vektordatenbank, in der Kundenprofile gespeichert sind. Sie möchten Kunden finden, die einem bestimmten Referenzkunden ähneln.

Um einen Kunden als Vektordarstellung zu definieren, können wir zunächst relevante Merkmale oder Attribute extrahieren und in Vektorform umwandeln.

Eine Ähnlichkeitssuche kann in einer Vektordatenbank unter Verwendung eines geeigneten Algorithmus wie k-nächster Nachbar oder Kosinusähnlichkeit durchgeführt werden, um die ähnlichsten Nachbarn zu identifizieren.

Kundenprofile abrufen, die den ermittelten Vektoren für den nächsten Nachbarn entsprechen und Kunden darstellen, die dem Referenzkunden gemäß dem definierten Ähnlichkeitsmaß ähnlich sind.

Zeigen Sie dem Benutzer das abgerufene Kundenprofil oder zugehörige Informationen wie Name, demografische Daten oder Kaufhistorie.

Wissensgraph

Ein Wissensgraph ist eine Sammlung von Knoten und Kanten, die Entitäten oder Konzepte und ihre Beziehungen (z. B. Fakten, Attribute oder Kategorien) darstellen. Basierend auf ihren Knoten- und Kantenattributen können sie verwendet werden, um Sachinformationen über verschiedene Entitäten oder Konzepte abzufragen oder daraus abzuleiten.

Zum Beispiel kann Ihnen ein Wissensgraph anhand von Kantenbeschriftungen sagen, dass „Paris“ die Hauptstadt von „Frankreich“ ist.

Das Abfragen einer Diagrammdatenbank umfasst das Durchlaufen der Diagrammstruktur und das Abrufen von Knoten, Beziehungen oder Mustern basierend auf bestimmten Kriterien.

Angenommen, Sie verfügen über eine Diagrammdatenbank, die ein soziales Netzwerk darstellt, in dem Benutzer Knoten sind und ihre Beziehungen als Kanten dargestellt werden, die die Knoten verbinden. Wenn Freunde von Freunden (gemeinsame Verbindungen) für einen bestimmten Benutzer gefunden werden, sollten wir Folgendes tun:

1. Identifizieren Sie den Knoten, der den Referenzbenutzer in der Diagrammdatenbank darstellt. Dies kann durch die Abfrage einer bestimmten Benutzerkennung oder anderer relevanter Kriterien erreicht werden.

2. Verwenden Sie eine Diagrammabfragesprache wie Cypher (verwendet in Neo4j) oder Gremlin, um das Diagramm von einem Referenzbenutzerknoten aus zu durchlaufen. Geben Sie Muster oder Beziehungen an, die untersucht werden sollen.

MATCH (:User {userId: ‘referenceUser’})-[:FRIEND]->()-[:FRIEND]->(fof:User) RETURN fof

Diese Abfrage beginnt mit dem Referenzbenutzer, folgt der FRIEND-Beziehung, um einen anderen Knoten zu finden (FRIEND), und folgt dann einer weiteren FRIEND-Beziehung, um Freunde von Freunden zu finden (fof).

3. Führen Sie eine Abfrage in der Diagrammdatenbank aus, rufen Sie die Ergebnisknoten (Freunde von Freunden) entsprechend dem Abfragemodus ab und rufen Sie bestimmte Attribute oder andere Informationen zu den abgerufenen Knoten ab.

Graphdatenbanken können erweiterte Abfragefunktionen bereitstellen, einschließlich Filterung, Aggregation und komplexer Mustervergleich. Die spezifische Abfragesprache und -syntax kann variieren, aber der allgemeine Prozess umfasst das Durchlaufen der Diagrammstruktur, um Knoten und Beziehungen abzurufen, die die erforderlichen Kriterien erfüllen.

Vorteile von Wissensgraphen bei der Lösung des „Illusions“-Problems

Wissensgraphen liefern präzisere und spezifischere Informationen als Vektordatenbanken. Eine Vektordatenbank stellt die Ähnlichkeit oder Korrelation zwischen zwei Entitäten oder Konzepten dar, während ein Wissensgraph ein besseres Verständnis der Beziehung zwischen ihnen ermöglicht. Der Wissensgraph kann Ihnen beispielsweise sagen, dass „Eiffelturm“ das Wahrzeichen von „Paris“ ist, während die Vektordatenbank nur die Ähnlichkeit der beiden Konzepte zeigen kann, aber nicht erklärt, wie sie zusammenhängen.

Knowledge Graph unterstützt vielfältigere und komplexere Abfragen als Vektordatenbanken. Vektordatenbanken können in erster Linie Anfragen beantworten, die auf Vektorabstand, Ähnlichkeit oder nächstem Nachbarn basieren und auf direkte Ähnlichkeitsmaße beschränkt sind. Und der Wissensgraph kann Abfragen basierend auf logischen Operatoren verarbeiten, z. B. „Was sind alle Entitäten mit dem Attribut Z?“ oder „Was ist die gemeinsame Kategorie von W und V?“ Dies kann LLM dabei helfen, vielfältigere und interessantere Texte zu generieren.

Wissensdiagramme eignen sich besser für Argumentationen und Schlussfolgerungen als Vektordatenbanken. Vektordatenbanken können nur direkt in der Datenbank gespeicherte Informationen bereitstellen. Wissensgraphen können indirekte Informationen liefern, die aus Beziehungen zwischen Entitäten oder Konzepten abgeleitet werden. Beispielsweise kann ein Wissensgraph auf der Grundlage der beiden Fakten „Paris ist die Hauptstadt Frankreichs“ und „Frankreich liegt in Europa“ auf „Der Eiffelturm liegt in Europa“ schließen. Dies kann LLM dabei helfen, logischeren und konsistenteren Text zu generieren.

Der Wissensgraph ist also eine bessere Lösung als die Vektordatenbank. Dies stellt LLMs genauere, relevantere, vielfältigere, interessantere, logischere und konsistentere Informationen zur Verfügung und macht sie zuverlässiger bei der Erstellung präziser und authentischer Texte. Der Schlüssel hier ist jedoch, dass eine klare Beziehung zwischen den Dokumentdokumenten bestehen muss, da der Wissensgraph diese sonst nicht erfassen kann.

但是，知识图谱的使用并没有向量数据库那么直接简单，不仅在内容的梳理(数据)，应用部署，查询生成等方面都没有向量数据库那么方便，这也影响了它在实际应用中的使用频率。所以下面我们使用一个简单的例子来介绍如何使用知识图谱构建RAG。

代码实现

我们需要使用3个主要工具/组件：

1、LlamaIndex是一个编排框架，它简化了私有数据与公共数据的集成，它提供了数据摄取、索引和查询的工具，使其成为生成式人工智能需求的通用解决方案。

2、嵌入模型将文本转换为文本所提供的一条信息的数字表示形式。这种表示捕获了所嵌入内容的语义含义，使其对于许多行业应用程序都很健壮。这里使用“thenlper/gte-large”模型。

3、需要大型语言模型来根据所提供的问题和上下文生成响应。这里使用Zephyr 7B beta模型

下面我们开始进行代码编写，首先安装包

%%capture pip install llama_index pyvis Ipython langchain pypdf

启用日志Logging Level设置为“INFO”，我们可以输出有助于监视应用程序操作流的消息

import logging import sys # logging.basicConfig(stream=sys.stdout, level=logging.INFO) logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))

导入依赖项

from llama_index import (SimpleDirectoryReader,LLMPredictor,ServiceContext,KnowledgeGraphIndex) # from llama_index.graph_stores import SimpleGraphStore from llama_index.storage.storage_context import StorageContext from llama_index.llms import HuggingFaceInferenceAPI from langchain.embeddings import HuggingFaceInferenceAPIEmbeddings from llama_index.embeddings import LangchainEmbedding from pyvis.network import Network

我们使用Huggingface推理api端点载入LLM

HF_TOKEN = "api key DEEPHUB 123456" llm = HuggingFaceInferenceAPI(model_name="HuggingFaceH4/zephyr-7b-beta", token=HF_TOKEN )

首先载入嵌入模型：

embed_model = LangchainEmbedding(HuggingFaceInferenceAPIEmbeddings(api_key=HF_TOKEN,model_name="thenlper/gte-large") )

加载数据集

documents = SimpleDirectoryReader("/content/Documents").load_data() print(len(documents))  ####Output### 44

构建知识图谱索引

创建知识图谱通常涉及专业和复杂的任务。通过利用Llama Index (LLM)、KnowledgeGraphIndex和GraphStore，可以方便地任何数据源创建一个相对有效的知识图谱。

#setup the service context  service_context = ServiceContext.from_defaults(chunk_size=256,llm=llm,embed_model=embed_model )  #setup the storage context  graph_store = SimpleGraphStore() storage_context = StorageContext.from_defaults(graph_store=graph_store)  #Construct the Knowlege Graph Undex index = KnowledgeGraphIndex.from_documents( documents=documents,max_triplets_per_chunk=3,service_context=service_context,storage_context=storage_context,include_embeddings=True)

Max_triplets_per_chunk:它控制每个数据块处理的关系三元组的数量

Include_embeddings:切换在索引中包含嵌入以进行高级分析。

通过构建查询引擎对知识图谱进行查询

query = "What is ESOP?" query_engine = index.as_query_engine(include_text=True,response_mode ="tree_summarize",embedding_mode="hybrid",similarity_top_k=5,) # message_template =f"""Please check if the following pieces of context has any mention of the keywords provided in the Question.If not then don't know the answer, just say that you don't know.Stop there.Please donot try to make up an answer.  Question: {query} Helpful Answer: """ # response = query_engine.query(message_template) # print(response.response.split("")[-1].strip()) #####OUTPUT ##################### ESOP stands for Employee Stock Ownership Plan. It is a retirement plan that allows employees to receive company stock or stock options as part of their compensation. In simpler terms, it is a plan that allows employees to own a portion of the company they work for. This can be a motivating factor for employees as they have a direct stake in the company's success. ESOPs can also be a tax-efficient way for companies to provide retirement benefits to their employees.

可以看到，输出的结果已经很好了，可以说与向量数据库的结果非常一致。

最后还可以可视化我们生成的图谱，使用Pyvis库进行可视化展示

from pyvis.network import Network from IPython.display import display g = index.get_networkx_graph() net = Network(notebook=True,cdn_resources="in_line",directed=True) net.from_nx(g) net.show("graph.html") net.save_graph("Knowledge_graph.html") # import IPython IPython.display.HTML(filename="/content/Knowledge_graph.html")

通过上面的代码我们可以直接通过LLM生成知识图谱，这样简化了我们非常多的人工操作。如果需要更精准更完整的知识图谱，还需要人工手动检查，这里就不细说了。

数据存储，通过持久化数据，可以将结果保存到硬盘中，供以后使用。

storage_context.persist()

存储的结果如下：

总结

向量数据库和知识图谱的区别在于它们存储和表示数据的方法。向量数据库擅长基于相似性的操作，依靠数值向量来测量实体之间的距离。知识图谱通过节点和边缘捕获复杂的关系和依赖关系，促进语义分析和高级推理。

对于语言模型(LLM)幻觉，知识图被证明优于向量数据库。知识图谱提供了更准确、多样、有趣、有逻辑性和一致性的信息，减少了LLM产生幻觉的可能性。这种优势源于它们能够提供实体之间关系的精确细节，而不仅仅是表明相似性，从而支持更复杂的查询和逻辑推理。

在以前知识图谱的应用难点在于图谱的构建，但是现在LLM的出现简化了这个过程，使得我们可以轻松的构建出可用的知识图谱，这使得他在应用方面又向前迈出了一大步。对于RAG，知识图谱是一个非常好的应用方向。

Das obige ist der detaillierte Inhalt vonNutzung von Wissensgraphen, um die Fähigkeiten von RAG-Modellen zu verbessern und falsche Eindrücke von großen Modellen zu verringern. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!