使用 LlamaIndex 和 Ollama 的高級索引技術：第 2 部分

使用 LlamaIndex 和 Ollama 的高級索引技術：第 2 部分

程式碼可以在這裡找到：GitHub - jamesbmour/blog_tutorials：

歡迎回到我們對 LlamaIndex 和 Ollama 的深入研究！在第 1 部分中，我們介紹了設定和使用這些強大工具進行高效資訊檢索的要點。現在，是時候探索高級索引技術了，它將把您的文件處理和查詢能力提升到一個新的水平。

一、簡介

在繼續之前，讓我們先快速回顧一下第 1 部分的要點：

• 設定 LlamaIndex 和 Ollama
• 建立基本索引
• 執行簡單查詢

在這一部分中，我們將深入研究不同的索引類型，學習如何自訂索引設定、管理多個文件以及探索進階查詢技術。最後，您將對如何利用 LlamaIndex 和 Ollama 執行複雜的資訊檢索任務有一個深入的了解。

如果您尚未設定環境，請務必參閱第 1 部分，以了解有關安裝和設定 LlamaIndex 和 Ollama 的詳細說明。

2. 探索不同的指數型

LlamaIndex 提供各種索引類型，每種索引類型都針對不同的用例量身定制。讓我們探討四種主要類型：

2.1 列表索引

列表索引是 LlamaIndex 中最簡單的索引形式。它是文字區塊的有序列表，非常適合簡單的用例。

from llama_index.core import ListIndex, SimpleDirectoryReader, VectorStoreIndex
from dotenv import load_dotenv
from llama_index.llms.ollama import  Ollama
from llama_index.core import Settings
from IPython.display import Markdown, display
from llama_index.vector_stores.chroma import ChromaVectorStore
from llama_index.core import StorageContext
from llama_index.embeddings.ollama import OllamaEmbedding
import chromadb
from IPython.display import HTML
# make markdown display text color green for all cells
# Apply green color to all Markdown output
def display_green_markdown(text):
    green_style = """
    <style>
    .green-output {
        color: green;
    }
    </style>
    """
    green_markdown = f'<div class="green-output">{text}</div>'
    display(HTML(green_style + green_markdown))


# set the llm to ollama
Settings.llm = Ollama(model='phi3', base_url='http://localhost:11434',temperature=0.1)

load_dotenv()

documents = SimpleDirectoryReader('data').load_data()
index = ListIndex.from_documents(documents)

query_engine = index.as_query_engine()
response = query_engine.query("What is llama index used for?")

display_green_markdown(response)

優點：

• 建立簡單快速
• 最適合小型文件集

缺點：

• 大型資料集效率較低
• 語意理解有限

2.2 向量存儲索引

向量儲存索引利用嵌入來建立文件的語意表示，從而實現更複雜的搜尋。

# Create Chroma client
chroma_client = chromadb.EphemeralClient()

# Define collection name
collection_name = "quickstart"

# Check if the collection already exists
existing_collections = chroma_client.list_collections()

if collection_name in [collection.name for collection in existing_collections]:
    chroma_collection = chroma_client.get_collection(collection_name)
    print(f"Using existing collection '{collection_name}'.")
else:
    chroma_collection = chroma_client.create_collection(collection_name)
    print(f"Created new collection '{collection_name}'.")

# Set up embedding model
embed_model = OllamaEmbedding(
    model_name="snowflake-arctic-embed",
    base_url="http://localhost:11434",
    ollama_additional_kwargs={"prostatic": 0},
)

# Load documents
documents = SimpleDirectoryReader("./data/paul_graham/").load_data()

# Set up ChromaVectorStore and load in data
vector_store = ChromaVectorStore(chroma_collection=chroma_collection)
storage_context = StorageContext.from_defaults(vector_store=vector_store)
index = VectorStoreIndex.from_documents(
    documents, storage_context=storage_context, embed_model=embed_model
)

# Create query engine and perform query
query_engine = index.as_query_engine()
response = query_engine.query("What is llama index best suited for?")
display_green_markdown(response)

這種索引類型在語意搜尋和可擴展性方面表現出色，非常適合大型資料集。

2.3 樹索引

樹索引分層組織訊息，有利於結構化資料。

from llama_index.core import TreeIndex, SimpleDirectoryReader

documents = SimpleDirectoryReader('data').load_data()
tree_index = TreeIndex.from_documents(documents)
query_engine = tree_index.as_query_engine()
response = query_engine.query("Explain the tree index structure.")
display_green_markdown(response)

樹索引對於具有自然層次結構的資料特別有效，例如組織結構或分類法。

2.4 關鍵字表索引

關鍵字表索引針對基於關鍵字的高效檢索進行了最佳化。

from llama_index.core import KeywordTableIndex, SimpleDirectoryReader

documents = SimpleDirectoryReader('data/paul_graham').load_data()
keyword_index = KeywordTableIndex.from_documents(documents)
query_engine = keyword_index.as_query_engine()
response = query_engine.query("What is the keyword table index in llama index?")
display_green_markdown(response)

此索引類型非常適合需要根據特定關鍵字快速尋找的場景。

3. 自訂索引設定

3.1 分塊策略

有效的文字分塊對於索引效能至關重要。 LlamaIndex 提供了多種分塊方法：

from llama_index.core.node_parser import SimpleNodeParser

parser = SimpleNodeParser.from_defaults(chunk_size=1024)

documents = SimpleDirectoryReader('data').load_data()
nodes = parser.get_nodes_from_documents(documents)
print(nodes[0])

嘗試不同的分塊策略，以找到上下文保留和查詢效能之間的最佳平衡。

3.2 嵌入模型

LlamaIndex 支援各種嵌入模型。以下是如何使用 Ollama 進行嵌入：

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
from llama_index.embeddings.ollama import OllamaEmbedding

embed_model = OllamaEmbedding(
    model_name="snowflake-arctic-embed",
    base_url="http://localhost:11434",
    ollama_additional_kwargs={"mirostat": 0},
)
index = VectorStoreIndex.from_documents(documents, embed_model=embed_model)
query_engine = index.as_query_engine()
response = query_engine.query("What is an embedding model used for in LlamaIndex?")
display_green_markdown(response)

嘗試不同的 Ollama 模型並調整參數，以針對您的特定用例最佳化嵌入品質。

4. 處理多個文檔

4.1 建立多文檔索引

LlamaIndex 簡化了從不同類型的多個文件建立索引的過程：

txt_docs = SimpleDirectoryReader('data/paul_graham').load_data()
web_docs = SimpleDirectoryReader('web_pages').load_data()
data = txt_docs  + web_docs
all_docs = txt_docs  + web_docs
index = VectorStoreIndex.from_documents(all_docs)

query_engine = index.as_query_engine()
response = query_engine.query("How do you create a multi-document index in LlamaIndex?")
display_green_markdown(response)

4.2 跨文檔查詢

要有效地查詢多個文檔，您可以實施相關性評分並管理上下文邊界：

from llama_index.core import QueryBundle
from llama_index.core.query_engine import RetrieverQueryEngine

retriever = index.as_retriever(similarity_top_k=5)
query_engine = RetrieverQueryEngine.from_args(retriever, response_mode="compact")
query = QueryBundle("How do you query across multiple documents?")
response = query_engine.query(query)
display_green_markdown(response)

5. 結論與後續步驟

在 LlamaIndex 和 Ollama 系列的第二部分中，我們探索了高級索引技術，包括：

• 不同的索引類型及其用例
• 自訂索引設定以獲得最佳效能
• 處理多個文件和跨文件查詢

如果您想支持我或給我買啤酒，請隨時加入我的 Patreon jamesbmour

以上是使用 LlamaIndex 和 Ollama 的高級索引技術：第 2 部分的詳細內容。更多資訊請關注PHP中文網其他相關文章！