LLMS (Largin Language Models)에 외부 지식을 연결할 때 개발자는 종종 수많은 소스의 데이터를 통합하는 경우가 많으며, 일부는 구조화되지 않은 대부분의 구조화되지 않지만 여전히 빠르고 정확한 정보를 반환합니다. 이 과제는 LLM이 수요에 대한 도메인 별 데이터를 가져 오는 강력한 방법을 제공하는 RAG (Retrieved-Augmented Generation)의 핵심입니다. 그러나 데이터가 스케일링되고 정확한 연결이 필요함이 커짐에 따라 Rag 파이프 라인은 다루기 어려워 질 수 있습니다.
는 Cogne과 Llamaindex가 단계적으로 들어가서 표준 래그를 그래프 크래그로 변환하는 시스템을 도입합니다. 관련 텍스트를 검색 할뿐만 아니라 데이터 포인트간에 더 풍부한 그래프 기반 관계를 구축하는 접근 방식입니다. 본질적으로, 그것은 정적, 청크 기반 검색을 넘어서 더 강력하고 상황에 맞는 반응을 강화할 수있는 지식의 글로벌“지도”를 제공합니다.
.
학습 목표
검색 세대 (RAG)의 기본 사항과 LLM 기능을 향상시키는 데있어 역할을 이해합니다.
Cogne 및 Llamaindex가 어떻게 구조화되고 상황을 인식하는 지식 검색을위한 그래프 크래그를 어떻게 활성화시키는 지 배우십시오.
데이터 수집에서 그래프 기반 쿼리에 이르기까지 그래프 크래그 파이프 라인 구축 프로세스를 탐색합니다.
Rag Systems에서 전통적인 청크 기반 방법에 대한 그래프 기반 검색의 장점을 발견하십시오.
실제 응용 프로그램 및 실제 응용 프로그램에 대한 통찰력을 얻으십시오.
이 기사는 데이터 과학 블로그 톤의 의 일부로 출판되었습니다.
목차
agg에있는 rag는 agg agnee and llamaindex 소개 개념적 개요 awnee and llamaindex를 선택하는 이유 : 텍스트를 시각화하는 이유 : Graphrag 결론 자주 묻는 질문
헝겊에 간단한 rag
검색-증거 생성 (RAG)은 추론 중에 큰 언어 모델에 외부 지식을 주입합니다. RAG 시스템은 데이터를 벡터 임베딩으로 변환하고 벡터 데이터베이스에 저장함으로써 LLM이 본질적으로 보유하지 않는 도메인 별 정보에 대한 추론을 허용합니다. 주요 혜택은 다음과 같습니다
: 원하는 LLM 또는 벡터 저장소 (예 : OpenAi, 로컬 오픈 소스 모델, Redis 또는 좋아하는 그래프 데이터베이스)를 선택하고 동부 내에서 원활하게 연결하십시오.
cognee llamaindex = GraphRag
Cogne와 llamaindex를 결합합니다
원시 데이터를 그래프로 변환
: 텍스트 청크를 포함시키는 대신 시맨틱 개념, 노드 및 관계 층을 구축합니다. .
는 유연한 도메인 별 온톨로지를 생성합니다.
: 수직 또는 전문 유스 케이스를 정확하게 모델링 할 수 있습니다.
는 결정 론적 계층을 활성화합니다 : 그래프 기반 논리 및 관계를 통해보다 일관되고 설명 가능한 결과를 보장합니다.
그래프 파이프 라인 구축 : 개념적 개요
엔드 투 엔드 워크 플로에는 간단한 파이썬 코드 (여기서 건너 뛸 수 있음)가 포함되어 있지만 아래는 Cognee 및 Llamaindex를 사용하여 그래프 크래그 파이프 라인을 구성하는 방법에 대한 개념적 요약입니다.1 단계 : 환경을 설정하십시오
당신은 필요한 종속성 (cognee, llamaindex 및 선택한 LLM 및 데이터베이스 제공 업체)을 설치하고 구성합니다. 이 초기 단계에는 환경이 벡터 임베딩, 그래프 스토리지 및 LLM 추론을 관리하는 데 필요한 모든 것을 갖추고 있습니다.
2 단계 : 데이터 세트 준비
짧은 텍스트 스 니펫 또는 전체 문서 세트가 있든 해당 데이터를 수집하여 컬렉션에로드합니다. llamaindex는 다양한 파일 형식 및 데이터 소스를 처리 할 수 있지만 일반적으로 관리 가능한 세그먼트 또는 "문서"로 텍스트를 제공합니다.
3 단계 : AcgeneeGraphrag 초기화
> 다음으로, 동지 그래프 래그 객체를 만듭니다. 그래프를 저장하는 방법 (예 : 네트워크를 사용한 메모리 또는 전용 그래프 데이터베이스에) 및 벡터 저장 (예 : lanctb, pinecone 또는 다른 벡터 데이터베이스)을 지정합니다. 또한 OpenAI 또는 로컬 모델과 같은 LLM 제공 업체와 관련 API 키와 함께 LLM 제공 업체를 선택합니다.
4 단계 : 추가 및 프로세스 데이터
문서를 시스템에로드하여 Cogne 및 Llamaindex가 구문 분석하여 포함시킬 수 있습니다. 데이터가 설치되면 텍스트를 분석하고 의미있는 엔티티, 관계 및 메타 데이터를 추출하는 변환 단계를 호출합니다. 이것들은 당신의 지식 그래프에서 노드와 가장자리가됩니다.
5 단계 : 검색을 수행하십시오
데이터 위에 구축 된 지식 그래프를 사용하면 두 가지 주요 유형의 쿼리를 수행 할 수 있습니다.
!pip install llama-index-graph-rag-cognee==0.1.2
# Import required libraries
import os
import asyncio
import cognee
from llama_index.core import Document
from llama_index.graph_rag.cognee import CogneeGraphRAG
# Set API key for OpenAI
if "OPENAI_API_KEY" not in os.environ:
os.environ["OPENAI_API_KEY"] = ""로그인 후 복사
로그인 후 복사
-정보가 연결되는 방법을 확인하기 위해 그래프의 글로벌 관계를 활용합니다.
rag 기반 검색 -기존 청크 검색을 사용하여 글로벌 그래프 컨텍스트를 반드시 활용하지 않고 관련 텍스트 구절을 찾습니다.
그래프 기반 접근법의 장점은 모든 문서에서 컨텍스트와 관계를 고려할 수 있다는 것입니다. 예를 들어, 여러 문서가 사람이나 개념을 참조하면 그래프 접근법이보다 포괄적 인 답변을 통합하고 교차 참조하는 데 도움이됩니다.
documents = [
Document(
text="Jessica Miller, Experienced Sales Manager with a strong track record in driving sales growth and building high-performing teams."
),
Document(
text="David Thompson, Creative Graphic Designer with over 8 years of experience in visual design and branding."
),
]로그인 후 복사
.
이 단계가 끝날 무렵, 파이프 라인은 더 이상 표준 래그의 청크 수준의 제약 조건에 의해 제한되지 않습니다. 대신, LLM은 강력하고 상호 연결된 지식 관점을 활용할 수 있습니다. 이로 인해 통찰력 있고 응집력이 풍부하고 상황이 풍부한 대답이 더욱 나타납니다!pip install llama-index-graph-rag-cognee==0.1.2
# Import required libraries
import os
import asyncio
import cognee
from llama_index.core import Document
from llama_index.graph_rag.cognee import CogneeGraphRAG
# Set API key for OpenAI
if "OPENAI_API_KEY" not in os.environ:
os.environ["OPENAI_API_KEY"] = ""로그인 후 복사
로그인 후 복사
Cognee 및 Llamaindex는 그래프 기반 추론을 유연한 데이터 통합과 결합하여 전통적인 걸레를보다 체계적이고 통찰력있는 접근 방식으로 변환합니다. 이 시너지 효과는 지식 검색을 향상시키고 상황에 맞는 이해를 향상 시키며 AI 기반 응용 프로그램의 배포를 단순화합니다.
시너지 화 된 에이전트 프레임 워크 및 메모리
GraphRag는 에이전트 내에서 장기, 단기 및 도메인 별 메모리를 용이하게합니다. 그래프 기반 구조에 대한 자세한 지식을 유지함으로써 에이전트는 시간이 지남에 따라 상황을보다 정확하게 기억하고 새로운 정보에 완벽하게 적응할 수 있습니다.
강화 쿼리 및 통찰력
보다 전체적인 관점에서 쿼리는 자동으로 더욱 정교해질 수 있습니다. 시간이 지남에 따라 그래프는 관계를 자체 최적화하여 더 풍부하고 더 연결된 데이터를 생성 할 수 있습니다. 단일 청크에서 단일 스 니펫을 반환하는 대신 에이전트는 여러 참조를 종합하거나 산란 된 사실을 통합 할 수 있습니다.
단순화 된 배포
Cognee는 복잡성을 추상화하는 것을 목표로합니다. LLM, 벡터 데이터베이스 및 그래프 스토어에 대한 표준 통합이 제공되므로 최소한의 오버 헤드로 그래프 크래그 파이프 라인을 출시 할 수 있습니다. 이를 통해 인프라 번거 로움을 다루기보다는 통찰력을 탐색하는 데 더 많은 시간을 소비합니다.
텍스트 너머 : 지식 그래프를 시각화하는
그래프 크래그의 가장 큰 강점 중 하나는 텍스트를 동적 시맨틱 레이어로 변환하는 방법에 있습니다. 각 엔티티 (예 : 사람, 위치, 개념)가 노드로 표시되는 것을 상상해보십시오. 가장자리는 조직에서 개인의 역할이나 다른 개념과의 관계와 같이 참조를 포착 할 수 있습니다.
이 시각화는 개발자와 이해 관계자 모두에게 도움이됩니다
패턴 식별
: 밀접하게 관련된 개념이나 엔티티의 클러스터를 참조하십시오.
검증 및 retine
: 관계에서 부정확성을 빠르게 발견하고 데이터 파이프 라인에서 수정하십시오.
통신 통찰력 : 복잡한 상호 의존성을보다 직관적 인 형식으로 전달합니다.
실제로, 가장자리가 역할, 위치 또는 업적에 연결되는 각 사람의 노드를 볼 수 있습니다. 모두 일관된 그래프 다이어그램에 철자가 있습니다. 해당 정보에 대해 여러 텍스트 조각을 검색하는 것보다 더 명확합니다. .
GraphRag의 잠재력 잠금 해제
구조화되지 않은 데이터를 AI 워크 플로에 통합하는 것은 작은 위업이 아닙니다. 그러나 Cognee의 그래프 기반 시맨틱 계층으로 데이터 수집을위한 llamaindex의 힘을 통합함으로써 전체 파이프 라인을보다 효율적이고 일관되며 궁극적으로 통찰력있게 만드는 간소화 된 접근 방식을 얻을 수 있습니다. .
이것이 비즈니스 또는 연구에 어떤 의미가 있습니까 ?
IT 제품 목록, 과학 논문 또는 고객 상호 작용에 따라 모든 형태의 데이터를 가져올 수 있습니다.
당신의 LLM은 더 이상 청크 구절에서 "추측"하지 않습니다. 전체적인 지식지도에서 유추됩니다.
당신은 온톨로지 정제, 관계 시각화 및 데이터를 가장 잘 해석하는 방법에 대한 반복과 같은 상위 수준의 작업에 집중할 수 있습니다.
-
당신은 독창적 인 챗봇을 구축하거나 지식 플랫폼을 건축하는 엔터프라이즈 팀을 구축하든 강력하고 유연한 기초를 제공합니다.
더 많은 것을 배우거나 직접 시도하고 싶으십니까? Google Colab에서 자세한 데모를 실행할 수 있습니다. 여기서 환경을 설정하고 데이터를로드하고 지식 그래프를 구축하며 쿼리를 실행하는 방법을 정확하게 알 수 있습니다.
.
결론 : 고급 언어 모델과 함께 데이터의 잠재력을 최대한 활용하는 것이 진지한 경우, Cognee 및 Llamaindex의 그래프 래그 접근 방식이 다음 단계입니다. 몇 줄의 구성과 잘 구조화 된 데이터를 사용하면 평범한 텍스트를 실행 가능한 인텔리전스로 변환 할 수 있습니다. 구조화되지 않은 문서와 진정으로 "스마트"통찰력 사이의 격차를 세우십시오.
- 결론
Cognee 및 Llamaindex는 구조화 된 지식 검색을 고급 인덱싱 기술과 통합하여 RAG 시스템을 향상시키는 강력한 조합을 제공합니다. 이 시너지 효과는 다양한 AI 응용 분야에서 맥락 적 이해, 검색 효율 및 적응성을 향상시킵니다. 그래프 기반 추론 및 유연한 데이터 통합을 활용하여 조직은보다 지능적이고 확장 가능하며 정확한 AI 솔루션을 구축 할 수 있습니다. AI 중심 지식 시스템이 발전함에 따라 Cognee 및 Llamaindex와 같은 도구는 정보 검색의 미래를 형성하는 데 중요한 역할을합니다.
키 테이크 아웃
Cognee 및 Llamaindex는 구조화 된 지식 검색으로 Rag 시스템을 향상시킵니다.
그래프 기반 추론은 상황에 맞는 이해와 의사 결정을 향상시킵니다
유연한 데이터 통합은 다양한 AI 애플리케이션에서 적응성을 보장합니다
조합은 검색 효율과 응답 정확도를 향상시킵니다
미래의 AI 시스템은 지식 기반 워크 플로를 최적화하기 위해 이러한 도구에 의존 할 것입니다.
-
자주 묻는 질문
q1. 그래프 래그 란 무엇이며 표준 헝겊과 어떻게 다른가요? Q2. Cognee 란 무엇이며 왜 그것을 사용해야합니까? a. Cognee는 인간이 세계의 정신지도를 만드는 방법에서 영감을 얻은 지식 및 기억 관리의 틀입니다. 구조화되지 않은 데이터를 그래프 기반 시맨틱 계층으로 바꾸어 복잡한 관계를 쉽게 저장, 관리 및 검색 할 수 있습니다. Agnee를 사용하면 인간이 영감을 얻은 개념과 관계의 모델링 일관되고 설명 가능한 그래프 구조
선택 LLM, 벡터 스토어 또는 데이터베이스
위 내용은 Cognee llamaindex : 강력한 그래프 크래그 파이프 라인 구축의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
