Lats: AI AI dengan llamaindex untuk sistem cadangan

Buka kuasa penalaran AI sistematik dengan carian pokok ejen bahasa (lats)

Bayangkan pembantu AI yang bukan sahaja menjawab soalan anda tetapi juga secara sistematik menyelesaikan masalah, belajar dari pengalamannya, dan merancang secara strategik beberapa langkah ke depan. Carian Pokok Agen Bahasa (LATS) adalah kerangka AI canggih yang menggabungkan penalaran metodis reaksi yang mendorong dengan keupayaan perancangan strategik Monte Carlo Tree Search (MCTS).

Lats membina pokok keputusan yang komprehensif, meneroka pelbagai penyelesaian secara serentak, dan menyempurnakan proses membuat keputusan melalui pembelajaran berterusan. Memfokuskan pada ejen AI menegak, artikel ini meneroka pelaksanaan praktikal ejen LATS menggunakan Llamaindex dan sambanova.ai.

Objektif Pembelajaran Utama:

• memahami reaksi (bertindak balas) yang mendorong rangka kerja dan kitaran pemerhatian tindakan-tindakannya.
• memahami kemajuan yang membawa kepada kerangka React.
• Melaksanakan rangka kerja LATS, memanfaatkan kemampuan MCT dan keupayaan model bahasa.
• Menganalisis perdagangan antara sumber pengiraan dan hasil yang dioptimumkan dalam pelaksanaan LATS.
• Bina enjin cadangan menggunakan ejen Llamaindex Lats dengan sistem Sambanova sebagai pembekal LLM.

(artikel ini adalah sebahagian daripada Blogathon Sains Data.)

Jadual Kandungan:

• Ejen React dijelaskan
• memahami ejen pencarian pokok ejen bahasa
• Lats dan React: Pendekatan Sinergi
• Pertimbangan Kos: Bila Menggunakan Lats
• Membina sistem cadangan dengan llamaindex dan lats
• Kesimpulan
• Soalan Lazim

Ejen reaksi dijelaskan

React (penalaran bertindak) adalah rangka kerja yang membolehkan model bahasa untuk menangani tugas -tugas melalui proses pemikiran, tindakan, dan pemerhatian kitaran. Bayangkan seorang pembantu berfikir dengan kuat, mengambil tindakan, dan belajar dari maklum balas. Kitaran adalah:

• Pemikiran: Menganalisis situasi semasa.
• tindakan: memilih kursus tindakan berdasarkan analisis.
• pemerhatian: mengumpulkan maklum balas dari persekitaran.
• Ulang: Menggunakan maklum balas untuk memaklumkan pemikiran berikutnya.

Pendekatan berstruktur ini membolehkan model bahasa memecahkan masalah yang rumit, membuat keputusan yang tepat, dan menyesuaikan strategi mereka berdasarkan hasil. Sebagai contoh, dalam masalah matematik pelbagai langkah, model mungkin mengenal pasti konsep yang relevan, menggunakan formula, menilai logik hasilnya, dan menyesuaikan pendekatannya dengan sewajarnya. Ini mencerminkan penyelesaian masalah manusia, menghasilkan hasil yang lebih dipercayai.

(sebelum ini dilindungi: pelaksanaan ejen React menggunakan llamaindex dan Gemini)

Memahami Ejen Carian Pokok Ejen Bahasa

Carian Pokok Agen Bahasa (LATS) adalah rangka kerja maju yang menggabungkan MCTs dengan keupayaan model bahasa untuk membuat keputusan dan perancangan yang canggih.

Lats beroperasi melalui penerokaan, penilaian, dan pembelajaran berterusan, yang dimulakan oleh pertanyaan input. Ia mengekalkan ingatan jangka panjang yang merangkumi pokok carian penjelajahan dan refleksi masa lalu, membimbing keputusan masa depan.

Lats secara sistematik memilih laluan yang menjanjikan, sampel tindakan yang berpotensi pada setiap titik keputusan, menilai merit mereka menggunakan fungsi nilai, dan mensimulasikannya ke keadaan terminal untuk mengukur keberkesanan. Demonstrasi kod akan menggambarkan pengembangan pokok dan penilaian skor.

lats dan reaksi: Pendekatan sinergi

lats mengintegrasikan kitaran pemerhatian tindakan-tindakan React ke dalam carian pokoknya:

Setiap nod menggunakan penjanaan pemikiran, pemilihan tindakan, dan pengamatan React.

• Lats meningkatkan ini dengan meneroka pelbagai urutan reaksi serentak dan menggunakan pengalaman masa lalu untuk membimbing penerokaan.
• Walau bagaimanapun, pendekatan ini adalah intensif yang komputasi. Mari kita periksa apabila lats paling bermanfaat.

Pertimbangan Kos: Bila Menggunakan Lats

Walaupun lats mengatasi Cot, React, dan kaedah lain dalam tanda aras, kos pengiraannya adalah signifikan. Tugas kompleks menjana banyak nod, yang membawa kepada pelbagai panggilan LLM, tidak sesuai untuk persekitaran pengeluaran. Aplikasi masa nyata sangat mencabar kerana latensi setiap panggilan API. Organisasi mesti berhati-hati menimbang pengambilan keputusan yang unggul Lats terhadap kos infrastruktur, terutamanya apabila berskala.

Gunakan lats apabila:

Tugas ini kompleks dengan pelbagai penyelesaian (mis., Pengaturcaraan).

kesilapan adalah mahal, dan ketepatan adalah yang paling utama (mis., Kewangan, diagnosis perubatan).
Pembelajaran dari percubaan masa lalu adalah berfaedah (mis., Carian produk kompleks).
Elakkan lats apabila:

Tugas adalah mudah dan memerlukan respons cepat (mis., Perkhidmatan pelanggan asas).

sensitiviti masa adalah kritikal (mis., Perdagangan masa nyata).
Sumber adalah terhad (mis., Aplikasi mudah alih).
tugas tinggi, berulang-ulang tugas terlibat (mis., Kesederhanaan kandungan).
Membina sistem cadangan dengan llamaindex dan lats

mari kita membina sistem cadangan menggunakan lats dan llamaindex.

Langkah 1: Persediaan Persekitaran

Pasang pakej yang diperlukan:

!pip install llama-index-agent-lats llama-index-core llama-index-readers-file duckduckgo-search llama-index-llms-sambanovasystems
import nest_asyncio; nest_asyncio.apply()

Langkah 2: Persediaan Konfigurasi dan API

Sediakan kunci API Sambanova LLM anda (ganti <your-api-key></your-api-key>):

import os
os.environ["SAMBANOVA_API_KEY"] = "<your-api-key>"

from llama_index.core import Settings
from llama_index.llms.sambanovasystems import SambaNovaCloud

llm = SambaNovaCloud(model="Meta-Llama-3.1-70B-Instruct", context_window=100000, max_tokens=1024, temperature=0.7, top_k=1, top_p=0.01)
Settings.llm = llm</your-api-key>

Langkah 3: Menentukan Alat-Search (DuckDuckGo)

from duckduckgo_search import DDGS
from llama_index.core.tools import FunctionTool

def search(query:str) -> str:
    """Searches DuckDuckGo for the given query."""
    req = DDGS()
    response = req.text(query,max_results=4)
    context = ""
    for result in response:
      context += result['body']
    return context

search_tool = FunctionTool.from_defaults(fn=search)

Langkah 4: Llamaindex Agent Runner - Lats

from llama_index.agent.lats import LATSAgentWorker
from llama_index.core.agent import AgentRunner

agent_worker = LATSAgentWorker(tools=[search_tool], llm=llm, num_expansions=2, verbose=True, max_rollouts=3)
agent = AgentRunner(agent_worker)

Langkah 5: Jalankan ejen

query = "Looking for a mirrorless camera under 00 with good low-light performance"
response = agent.chat(query)
print(response.response)

Langkah 6: Pengendalian ralat (Contoh menggunakan agent.list_tasks()) - Bahagian ini menyediakan kaedah untuk mengendalikan kes -kes di mana ejen kembali "Saya masih berfikir." Kod ini disediakan dalam input asal.

Kesimpulan

Lats secara signifikan memajukan seni bina ejen AI. Walaupun berkuasa, tuntutan pengiraannya mesti dipertimbangkan dengan teliti.

Soalan -soalan yang sering ditanya

Seksyen Soalan Lazim disediakan dalam input asal. (nota: pernyataan mengenai pemilikan media tetap tidak berubah.)

Atas ialah kandungan terperinci Lats: AI AI dengan llamaindex untuk sistem cadangan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!