지식 그래프: 대형 모델을 위한 이상적인 파트너

대규모 언어 모델(LLM)은 매끄럽고 일관된 텍스트를 생성하는 능력을 갖추고 있어 인공지능 대화, 창의적 글쓰기 등의 분야에 새로운 전망을 제시합니다. 그러나 LLM에는 몇 가지 주요 제한 사항도 있습니다. 첫째, 그들의 지식은 훈련 데이터에서 인식된 패턴으로 제한되어 있으며 세상에 대한 진정한 이해가 부족합니다. 둘째, 추론 능력이 제한되어 있어 여러 데이터 소스에서 논리적 추론을 하거나 사실을 융합할 수 없습니다. 더 복잡하고 개방형 질문에 직면할 때 LLM의 답변은 "환상"이라고 알려진 터무니없거나 모순될 수 있습니다. 따라서 LLM은 일부 측면에서 매우 유용하지만 복잡한 문제와 실제 상황을 처리할 때 여전히 특정 제한 사항이 있습니다.

이러한 격차를 해소하기 위해 최근 몇 년 동안 검색 증강 생성(RAG) 시스템이 등장했습니다. 이 시스템의 핵심 아이디어는 외부 소스에서 관련 지식을 검색하여 LLM에 컨텍스트를 제공하여 더 많은 정보에 입각한 응답을 제공하는 것입니다. 현재 시스템은 대부분 벡터 임베딩의 의미론적 유사성을 사용하여 구절을 검색하지만 이 접근 방식에는 실제 상관 관계가 부족하고 사실을 집계할 수 없으며 추론 체인이 부족하다는 단점이 있습니다. 지식 그래프의 응용 분야는 이러한 문제를 해결할 수 있습니다. 지식 그래프는 실제 엔터티와 관계를 구조적으로 표현한 것입니다. 지식 그래프는 맥락적 사실 간의 상호 연결을 인코딩함으로써 순수 벡터 검색의 단점을 극복하고, 그래프 검색은 여러 정보 소스에 걸쳐 복잡한 다단계 추론을 가능하게 합니다.

벡터 임베딩과 지식 그래프의 결합은 LLM의 추론 능력을 향상시키고 정확성과 해석성을 향상시킬 수 있습니다. 이 파트너십은 표면 의미론과 구조화된 지식 및 논리를 완벽하게 혼합하여 LLM이 통계 학습과 상징적 표현을 동시에 적용할 수 있도록 합니다.

Pictures

1. 벡터 검색의 한계

대부분의 RAG 시스템은 문서 모음에 있는 구절의 벡터 검색을 통해 LLM의 컨텍스트를 찾습니다. 이 프로세스에는 몇 가지 주요 단계가 있습니다.

1. 텍스트 인코딩: 시스템은 BERT와 같은 임베딩 모델을 사용하여 코퍼스 단락의 텍스트를 벡터 표현으로 인코딩합니다. 각 기사는 의미를 포착하기 위해 밀집된 벡터로 압축됩니다.
2. 인덱스: 이러한 채널 벡터는 가장 가까운 이웃 검색을 빠르게 수행할 수 있도록 고차원 벡터 공간에서 인덱싱됩니다. 인기 있는 방법으로는 Faiss와 Pinecone 등이 있습니다.
3. 쿼리 인코딩: 사용자의 쿼리 문도 동일한 임베딩 모델을 사용하여 벡터 표현으로 인코딩됩니다.
4. 유사성 검색: 가장 가까운 이웃 검색은 색인된 단락에서 실행되어 거리 측정법(예: 코사인 거리)을 기반으로 쿼리 벡터에 가장 가까운 단락을 찾습니다.
5. 문단 결과 반환: 가장 유사한 단락 벡터를 반환하고 원본 텍스트를 추출하여 LLM에 대한 컨텍스트를 제공합니다.

이 파이프라인에는 몇 가지 주요 제한 사항이 있습니다.

• 채널 벡터는 쿼리의 의미론적 의도를 완전히 포착하지 못할 수 있고, 임베딩은 특정 추론 연결을 나타낼 수 없으며 중요한 컨텍스트가 무시됩니다.
• 전체 단락을 단일 벡터로 압축하면 뉘앙스가 사라지고 문장에 포함된 주요 관련 세부 정보가 흐려집니다.
• 매칭은 각 단락마다 독립적으로 이루어지며, 여러 단락에 대한 공동 분석이 없으며, 사실을 연결하고 집계해야 하는 답변에 도달하는 것이 부족합니다.
• 순위 지정 및 매칭 과정은 불투명하며 특정 구절이 더 관련성이 높은 것으로 간주되는 이유를 설명하는 투명성이 없습니다.
• 의미적 유사성만 인코딩되며 서로 다른 연결 간의 관계, 구조, 규칙 및 기타 콘텐츠는 표현되지 않습니다.
• 의미론적 벡터 유사성에만 초점을 맞추면 검색에 대한 실제 이해가 부족해집니다.

쿼리가 더욱 복잡해짐에 따라 검색된 콘텐츠에 대해 추론할 수 없다는 점에서 이러한 제한이 점점 더 분명해지고 있습니다.

2. 지식 그래프 통합

지식 그래프는 개체와 관계를 기반으로 상호 연결된 네트워크를 통해 정보를 전달하며 복잡한 추론을 통해 검색 능력을 향상시킵니다.

• 명시적 사실 사실은 불투명한 벡터로 압축되지 않고 노드와 가장자리로 직접 캡처되므로 중요한 세부 정보가 보존됩니다.
• 컨텍스트 세부정보, 엔터티에는 주요 컨텍스트를 제공하는 설명, 별칭, 메타데이터와 같은 풍부한 속성이 포함되어 있습니다.
• 네트워크 구조는 관계 모델링 엔터티 간의 실제 연결, 캡처 규칙, 계층, 타임라인 등을 표현합니다.
• 다단계 추론은 관계 탐색을 기반으로 하며 다양한 소스의 사실을 연결하여 여러 단계에 걸쳐 추론이 필요한 답변을 도출합니다.
• 공동 추론은 엔터티 해결을 통해 동일한 실제 개체에 연결되므로 집단적 분석이 가능합니다.
• 해석 가능한 상관 관계, 그래프 토폴로지는 특정 기반 사실이 연결을 기반으로 관련이 있는 이유를 설명할 수 있는 투명성을 제공합니다.
• 개인화, 사용자 속성, 컨텍스트 및 과거 상호 작용을 캡처하여 결과를 맞춤화합니다.

지식 그래프는 단순한 매칭이 아닌 그래프를 순회하여 쿼리와 관련된 상황적 사실을 수집하는 과정입니다. 해석 가능한 순위 방법은 그래프의 토폴로지를 활용하여 구조화된 사실, 관계 및 컨텍스트를 인코딩함으로써 검색 기능을 향상함으로써 정확한 다단계 추론을 가능하게 합니다. 이 접근 방식은 순수 벡터 검색에 비해 더 큰 상관관계와 설명력을 제공합니다.

3. 간단한 제약 조건을 사용하여 지식 그래프 삽입 개선

연속 벡터 공간에 지식 그래프 삽입은 현재 연구의 핫스팟입니다. 지식 그래프는 벡터 임베딩을 사용하여 수학적 연산을 지원하는 엔터티와 관계를 나타냅니다. 또한 추가 제약 조건을 사용하면 표현을 더욱 최적화할 수 있습니다.

• 비음성 제약 조건, 엔터티 임베딩을 0과 1 사이의 양수 값으로 제한하면 희소성이 발생하고 긍정적 특성을 명시적으로 모델링하며 해석 가능성이 향상됩니다.
• 암시 제약 조건은 대칭, 반전, 구성 등과 같은 논리적 규칙을 관계형으로 포함된 제약 조건으로 직접 인코딩하여 이러한 패턴을 적용합니다.
• 신뢰도 모델링, 여유 변수가 포함된 소프트 제약 조건은 증거를 기반으로 논리적 규칙의 신뢰도를 인코딩할 수 있습니다.
• 정규화는 유용한 귀납적 편향을 부과하고 최적화를 더 복잡하게 만들지 않고 투영 단계만 추가합니다.
• 해석 가능성, 구조적 제약 조건은 추론 프로세스를 설명하는 모델이 학습한 패턴에 투명성을 제공합니다.
• 정확도, 제약 조건은 가설 공간을 요구 사항을 충족하는 표현으로 줄여 일반화를 향상시킵니다.

지식 그래프 삽입에 단순하고 보편적인 제약 조건이 추가되어 더욱 최적화되고, 해석하기 쉽고, 논리적으로 호환되는 표현이 가능해졌습니다. 임베딩은 더 정확하고 해석 가능한 추론을 위해 추가 복잡성을 도입하지 않고 실제 구조와 규칙을 모방하는 귀납적 편향을 얻습니다.

4. 여러 추론 프레임워크 통합

지식 그래프에는 새로운 사실을 도출하고, 질문에 답하고, 예측을 하기 위한 추론이 필요합니다. 다양한 기술에는 상호 보완적인 장점이 있습니다.

논리 규칙은 지식을 논리적 공리와 온톨로지로 표현합니다. 정리 증명을 통한 완전한 추론과 제한된 불확실성 처리. 그래프 임베딩은 벡터 공간 연산에 사용되는 임베디드 지식 그래프 구조로, 불확실성을 처리할 수 있지만 표현력이 부족합니다. 벡터 조회와 결합된 신경망은 적응성이 있지만 추론은 불투명합니다. 그래프 구조와 데이터의 통계적 분석을 통해 자동으로 규칙을 생성할 수 있지만 품질이 불확실합니다. 하이브리드 파이프라인은 논리적 규칙을 통해 명시적 제약 조건을 인코딩하고, 임베딩은 벡터 공간 연산을 제공하며, 신경망은 공동 훈련을 통해 융합의 이점을 얻습니다. 사례 기반, 퍼지 또는 확률적 논리 방법을 사용하여 투명성을 높이고 규칙의 불확실성과 신뢰도를 표현합니다. 추론된 사실과 학습된 규칙을 그래프로 구현하고 피드백 루프를 제공하여 지식을 확장합니다.

핵심은 필요한 추론 유형을 식별하고 이를 적절한 기술에 매핑하여 논리적 형식, 벡터 표현 및 신경 구성 요소의 구성 가능한 파이프라인을 결합하여 견고성과 해석 가능성을 제공하는 것입니다.

4.1 LLM의 정보 흐름 유지

LLM에 대한 지식 그래프에서 사실을 검색하면 관련성을 유지하기 위해 설계상 유지 관리해야 하는 정보 병목 현상이 발생합니다. 콘텐츠를 작은 덩어리로 나누면 격리가 향상되지만 주변 컨텍스트가 손실되어 덩어리 간 추론이 방해됩니다. 블록 요약을 생성하면 의미를 강조하기 위해 주요 세부 정보가 압축되어 보다 간결한 컨텍스트가 제공됩니다. 요약, 제목, 태그 등을 메타데이터로 첨부하여 소스 콘텐츠에 대한 맥락을 유지하세요. 원본 쿼리를 보다 자세한 버전으로 다시 작성하면 LLM의 요구 사항에 맞게 검색을 더 효과적으로 수행할 수 있습니다. 지식 그래프의 순회 기능은 사실 간의 연결을 유지하고 맥락을 유지합니다. 연대순 또는 관련성에 따라 정렬하면 LLM의 정보 구조를 최적화할 수 있으며, 암시적 지식을 LLM에 대해 명시된 명시적 사실로 변환하면 추론이 더 쉬워질 수 있습니다.

추론 능력을 극대화하기 위해 검색된 지식의 관련성, 맥락, 구조 및 명시적 표현을 최적화하는 것이 목표입니다. 세분화와 응집력 사이에 균형을 맞춰야 합니다. 지식 그래프 관계는 고립된 사실에 대한 맥락을 구축하는 데 도움이 됩니다.

4.2 추론 능력 잠금 해제

지식 그래프와 임베디드 기술의 결합은 서로의 약점을 극복할 수 있다는 장점이 있습니다.

지식 그래프는 엔터티와 관계의 구조화된 표현을 제공합니다. 순회 기능을 통해 복잡한 추론 기능을 강화하고 다단계 추론을 처리합니다. 임베딩은 벡터 공간의 유사성 기반 작업에 대한 정보를 인코딩하고 특정 규모에서 효과적인 근사 검색을 지원하며 잠재적 패턴을 표면화합니다. 결합 인코딩은 지식 그래프의 엔터티 및 관계에 대한 임베딩을 생성합니다. 그래프 신경망은 차별화 가능한 메시지 전달을 통해 그래프 구조 및 내장 요소에서 작동합니다.

지식 그래프는 먼저 구조화된 지식을 수집한 다음 관련 콘텐츠에 초점을 맞춘 검색 및 검색을 포함하여 추론 과정에 대한 해석성을 제공합니다. 추론된 지식은 그래프로 확장될 수 있으며 GNN은 연속 표현에 대한 학습을 ​​제공합니다.

이 파트너십은 패턴으로 알아볼 수 있습니다! 힘과 신경망의 확장성은 구조화된 지식의 표현을 향상시킵니다. 이는 언어 AI를 발전시키기 위해 통계 학습과 기호 논리가 필요한 핵심입니다.

4.3 협업 필터링을 사용하여 검색 개선

협업 필터링은 엔터티 간의 연결을 사용하여 검색을 향상시킵니다. 일반적인 프로세스는 다음과 같습니다.

1. 노드가 엔터티를 나타내고 가장자리가 관계를 나타내는 지식 그래프를 구성합니다.
2. 특정 핵심 노드 속성(예: 제목, 설명 등)에 대한 임베딩 벡터를 생성합니다.
3. 벡터 인덱스 - 노드 임베딩의 벡터 유사성 인덱스를 구성합니다.
4. Nearest Neighbor Search - 검색어의 경우 가장 유사한 임베딩을 가진 노드를 찾습니다.
5. 협업 조정 - PageRank와 같은 알고리즘을 사용하여 유사성 점수를 전파하고 조정하는 노드 기반 연결입니다.
6. 엣지 웨이트―엣지 유형, 강도, 자신감 등에 따라 무게를 조정하세요.
7. 점수 정규화 ――조정된 점수를 정규화하여 상대 순위를 유지합니다.
8. 결과 재정렬――조정된 협업 점수에 따라 초기 결과가 재정렬되었습니다.
9. 사용자 컨텍스트――사용자 프로필, 기록 및 기본 설정을 기반으로 추가 조정됩니다.

사진

5. RAG 엔진 연료 공급 – 데이터 플라이휠

계속 개선되는 고성능 RAG(검색 증강 생성) 시스템을 구축하려면 데이터 플라이휠을 구현해야 할 수도 있습니다. 지식 그래프는 구조화된 세계 지식을 제공하여 언어 모델에 대한 새로운 추론 기능을 제공합니다. 그러나 고품질 지도를 만드는 것은 여전히 ​​어려운 일입니다. 지식 그래프를 지속적으로 개선하기 위해 시스템 상호 작용을 분석함으로써 데이터 플라이휠이 등장하는 곳입니다.

모든 시스템 쿼리, 응답, 점수, 사용자 작업 등을 기록하여 지식 그래프가 어떻게 사용되는지에 대한 가시성을 제공하고, 데이터 집계를 사용하여 잘못된 응답을 표시하고, 이러한 응답을 클러스터링 및 분석하여 지식 격차를 나타내는 패턴을 식별합니다. 문제가 있는 시스템 응답을 수동으로 검토하고 지도에서 누락되거나 잘못된 사실로 문제를 추적합니다. 그런 다음 차트를 직접 수정하여 누락된 사실을 추가하고, 구조를 개선하고, 명확성을 향상시키는 등의 작업을 수행하세요. 위의 단계는 연속 루프로 완료되며 각 반복은 지식 그래프를 더욱 향상시킵니다.

뉴스 및 소셜 미디어와 같은 실시간 데이터 소스를 스트리밍하면 새로운 정보의 지속적인 흐름을 제공하여 지식 그래프를 최신 상태로 유지할 수 있습니다. 쿼리 생성을 사용하여 중요한 지식 격차를 식별하고 채우는 것은 스트리밍이 제공하는 범위를 벗어납니다. 그래프에서 구멍을 찾고, 질문하고, 누락된 사실을 검색하여 추가하세요. 각 주기마다 사용 패턴을 분석하고 데이터 문제를 해결하여 지식 그래프가 점차 향상되며, 개선된 그래프는 시스템 성능을 향상시킵니다.

이 플라이휠 프로세스를 통해 실제 사용에서 얻은 피드백을 기반으로 지식 그래프와 언어 모델이 함께 발전할 수 있습니다. 모델의 요구 사항에 맞게 지도가 적극적으로 수정됩니다.

간단히 말하면, 데이터 플라이휠은 시스템 상호 작용을 분석하여 지식 그래프의 지속적이고 자동적인 개선을 위한 발판을 제공합니다. 이는 그래프 종속 언어 모델의 정확성, 관련성 및 적응성을 강화합니다.

6. 요약

인공지능은 외부 지식과 추론을 결합해야 하는데, 여기서 지식 그래프가 나옵니다. 지식 그래프는 실제 개체와 관계의 구조화된 표현을 제공하고 세계에 대한 사실과 그 사이의 연결을 인코딩합니다. 이를 통해 상호 연관된 사실을 탐색하여 여러 단계에 걸쳐 복잡한 논리적 추론이 가능합니다.

그러나 지식 그래프에는 희소성 및 불확실성 처리 부족과 같은 고유한 한계가 있으며, 여기서 그래프 임베딩이 위치를 찾는 데 도움이 됩니다. 벡터 공간에서 지식 그래프 요소를 인코딩함으로써 임베딩은 대규모 말뭉치에서 잠재 패턴 표현에 이르기까지 통계적 학습을 허용하고 효율적인 유사성 기반 작업도 가능하게 합니다.

지식 그래프나 벡터 임베딩 그 자체만으로는 인간과 같은 언어 지능을 형성하기에 충분하지 않지만 함께 구조화된 지식 표현, 논리적 추론 및 통계 학습의 효과적인 조합을 제공하며 지식 그래프는 신경망 모델을 포괄합니다. 기호 논리와 관계를 인식하는 능력, 그래프 신경망과 같은 기술은 정보 전송 그래프 구조 및 임베딩을 통해 이러한 접근 방식을 더욱 통합합니다. 이러한 공생 관계를 통해 시스템은 신경망과 구조화된 지식 표현의 장점을 결합하여 통계 학습과 기호 논리를 모두 활용할 수 있습니다.

고품질 지식 그래프 구축, 벤치마크 테스트, 노이즈 처리 등에는 여전히 과제가 있습니다. 그러나 기호 네트워크와 신경 네트워크를 아우르는 하이브리드 기술은 여전히 ​​유망합니다. 지식 그래프와 언어 모델이 계속 발전함에 따라 이들의 통합은 설명 가능한 AI의 새로운 영역을 열어줄 것입니다.

위 내용은 지식 그래프: 대형 모델을 위한 이상적인 파트너의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!