Thought Chain CoT는 Thought Map GoT로 진화했고, Thought Tree보다 뛰어난 신속한 엔지니어링 기술이 탄생했습니다.-일체 포함-php.cn

대규모 언어 모델(LLM)의 기능을 최대한 활용하려면 효과적인 프롬프트 설계가 필수적입니다. 이러한 이유로 프롬프트 엔지니어링이라는 새로운 분야가 등장하게 되었습니다.

다양한 프롬프트 디자인 솔루션 중 CoT(Chain of Thinking)는 향상된 CoT-SC와 더욱 발전된 ToT(Tree of Thinking)를 기반으로 강력한 추론 능력으로 많은 연구자와 사용자의 주목을 받고 있습니다. 관심의.

최근 ETH Zurich, Cledar 및 Warsaw University of Technology의 연구팀은 GoT(Maps of Mind)라는 추가 아이디어를 제안했습니다. LLM을 위한 체인에서 트리, 그래프까지 사고하고 추론 프로세스를 구축하는 능력이 지속적으로 향상되었으며, 연구자들도 이를 실험을 통해 입증했습니다. 그들은 또한 GoT 프레임워크의 자체 구현을 출시했습니다.

Thought Chain CoT는 Thought Map GoT로 진화했고, Thought Tree보다 뛰어난 신속한 엔지니어링 기술이 탄생했습니다.

연구 논문: https://arxiv.org/pdf/2308.09687v2.pdf

공식 구현: https://github.com/spcl/graph-of-thoughts

논문 개요

대규모 언어 모델은 인공 지능 세계에서 지배적인 기술이 되고 있습니다. 최근 몇 년 동안 빠르게 발전한 모델은 주로 GPT, PaLM 또는 LLaMA와 같은 디코더 전용 Transformer 변형을 기반으로 합니다.

다양한 LLM 과제를 해결할 때 신속한 엔지니어링 설계는 자원을 효율적으로 활용할 수 있는 방법입니다. 간단히 말해서 작업에 대한 설명은 LLM으로 전송되는 입력에 포함됩니다. 작업을 적절한 형식으로 설명할 수 있는 경우 LLM은 자동 회귀 토큰 기반 텍스트 생성 메커니즘을 사용하여 문제를 해결할 수 있습니다. 이러한 프롬프트에는 답변이 포함된 예제 작업(컨텍스트 학습(ICL)이라고도 함)이 포함될 수도 있고 예제 작업이 전혀 포함되지 않을 수도 있습니다(최근 몇 년간의 연구 및 응용 프로그램). 즉, 이 메커니즘은 수학, 상식 또는 상징적 추론과 관련된 다양한 유형의 작업을 해결하는 데 사용될 수 있습니다.

CoT(Chain of Thought)는 메시지의 입력 및 출력에 추가로 프롬프트를 설계하는 방법입니다. 작업에는 입력과 출력도 포함되어 있습니다. 연구에 따르면 CoT는 LLM의 능력을 크게 향상시켜 모델 업데이트 없이 일부 어려운 문제를 해결할 수 있습니다. 연구자들은 또한 CoT를 개선하여 자신을 실현하기 위해 CoT를 사용할 것을 제안했습니다. 이 솔루션은 여러 CoT를 생성한 후 최상의 결과를 선택하는 것입니다.

최근 일부 연구자들은 ToT를 제안했습니다. )는 LLM 추론 프로세스를 모델링하기 위해 수행됩니다. 이를 통해 모델은 다양한 사고 경로를 사용할 수 있으며 불행하게도 ToT 방법은 추론 프로세스를 역추적하는 등 완전히 새로운 기능을 제공할 수 있습니다. 트리 구조는 프롬프트의 추론 능력을 크게 제한합니다. 자세한 내용은 이 웹사이트의 기사를 참조하세요

"생각하고, 생각하고, 멈추지 않고 생각하는, 생각하는 나무 ToT "군사 훈련" LLM"

ETH 취리히, 클레다르(Warsaw University of Technology) 연구팀은 LLM 사고를 임의의 그래프 구조로 구성할 수 있다면 프롬프트의 기능을 크게 향상시킬 수 있다고 믿습니다. 그들은 이러한 아이디어가 다음과 같은 다양한 현상에서 영감을 받았다고 말했습니다. 인간의 추론, 뇌 구조 및 알고리즘 실행 방법

생각할 때 인간은 CoT처럼 하나의 사고 사슬을 따르거나 ToT처럼 여러 가지 다른 경로를 시도하는 것이 아니라 더 복잡한 경로를 형성할 수 있습니다. 먼저 생각의 한 사슬을 탐색한 다음 다른 사슬을 역추적하여 탐색한 다음 이전 사슬의 아이디어가 현재 사슬과 결합되어 서로에게서 배우고 새로운 해결책을 얻을 수 있다는 것을 깨닫게 될 것입니다. 순환 패턴과 같은 그래프와 같은 패턴을 나타내는 네트워크. 알고리즘을 실행하면 방향성 비순환 그래프로 표현될 수 있는 네트워크 패턴도 드러납니다.

저자는 이러한 그래프 기반 변환이 가능하다고 말했습니다. LLM 사고에 사용되면 프롬프트를 디자인하는 강력한 방법을 창출할 것으로 예상되지만 이러한 변환은 CoT나 ToT를 통해 자연스럽게 표현될 수 없습니다.

그런 다음 그들은 LLM의 추론 과정을 그래프로 모델링하면 다음과 같이 관찰했습니다. 이러한 관찰과 다른 많은 사고 변환은 자연스럽게 실현될 수 있으며, 이러한 관찰을 바탕으로 LLM의 기능을 향상시키기 위해 형식적 추론을 구현할 수 있는 GoT/생각 그래프를 제안했습니다.

GoT에서는 LLM 사고가 정점으로 모델링되고 정점 간의 종속성은 가장자리로 모델링됩니다. GoT를 사용하면 둘 이상의 입력 가장자리가 있는 정점을 구성하여 임의의 아이디어를 집계할 수 있습니다. 전반적으로 GoT에서 사용하는 그래프 추상화 방법은 CoT와 ToT를 보다 복잡한 사고 모델로 원활하게 일반화할 수 있으며 이 프로세스에는 모델 업데이트가 필요하지 않습니다.

그러나 실제로 GoT를 구현하려면 해결해야 할 몇 가지 설계 과제가 여전히 남아 있습니다. 예를 들어, 다양한 작업에 가장 적합한 그래프 구조는 무엇입니까? 정확성을 극대화하고 비용을 최소화하기 위한 융합적 사고에 대한 최선의 접근 방식은 무엇입니까?

이러한 질문에 답하기 위해 이 연구원들은 GoT 구현을 위한 모듈식 아키텍처를 설계했습니다. 디자인에는 두 가지 주요 특징이 있습니다.

첫째, 각 사고를 세밀하게 제어할 수 있습니다. 이를 통해 사용자는 LLM과의 대화 및 진행 중인 추론에서 가장 유망한 두 가지 생각을 결합하여 새로운 생각을 얻는 등 고급 사고 변환 사용을 완전히 제어할 수 있습니다.

둘째, 이 아키텍처는 확장성을 염두에 두고 설계되었습니다. 즉, 새로운 사고 변환, 추론 모드(예: 마인드 맵) 및 LLM 모델을 위해 원활하게 확장될 수 있습니다. 이를 통해 사용자는 GPT-3.5, GPT-4 또는 Llama-2와 같은 다양한 모델을 실험하면서 GoT를 사용하여 새로운 디자인 아이디어의 프로토타입을 빠르게 제작할 수 있습니다.

또한 연구원들은 GoT의 일부 사용 사례(정렬, 요약의 키워드 계산, 집합 연산, 문서 병합)를 시연했으며 그래프 기반 패러다임을 사용하여 구현하는 방법도 자세히 설명했습니다. 그들은 실험적으로 GoT를 평가하여 다른 최첨단 방법에 비해 GoT의 장점을 보여줍니다.

연구원들은 전반적으로 GoT가 자연스럽게 작은 하위 작업으로 분해될 수 있는 작업에 특히 적합하며 이러한 하위 작업을 별도로 해결한 다음 최종 솔루션으로 병합할 수 있다고 말합니다. 예를 들어 정렬 작업에서는 GoT가 CoT와 ToT보다 각각 약 70%, 62% 우수하고 비용은 ToT보다 31% 이상 저렴합니다.

표 1은 GoT와 다른 프롬프트 디자인 솔루션 간의 질적 비교를 제공합니다. GoT는 프롬프트 내에서 그래프 기반 사고 변환(예: 집계)을 구현할 수 있는 유일한 솔루션으로, 이전의 모든 솔루션을 포괄합니다.

그들은 또한 새로운 평가 지표, 즉 신속한 디자인 전략을 평가하는 데 사용할 수 있는 생각의 양을 제안하는 또 다른 기여를 했습니다. 연구원들은 이 측정 기준을 사용하는 목적은 프롬프트 디자인 옵션 간의 차이점을 더 잘 이해하는 것이라고 말합니다.

주어진 생각 v에 대해 v의 용량은 사용자가 유향 모서리를 사용하여 v를 얻을 수 있는 LLM 생각의 수를 나타냅니다. 직관적으로 이것은 v. v.에 기여할 것으로 예상되는 모든 LLM 아이디어입니다.

저자는 Aggregation과 같은 사고 전환 기술을 통합함으로써 GoT가 다른 솔루션보다 사고 능력을 훨씬 더 크게 만들 수 있다는 것을 연구를 통해 보여주었습니다.

GoT 프레임워크

다음은 GoT 프레임워크에 대한 자세한 소개입니다. 도식 다이어그램은 그림 1에 나와 있으며 다른 프롬프트 설계 전략의 도식 다이어그램도 제공합니다.

수학적 형식에서 GoT는 튜플(G, T, E, R)로 모델링될 수 있습니다. 여기서 G는 LLM 추론 프로세스(즉, 모든 LLM 생각과 컨텍스트 내 관계)이고 T는 가능성입니다. 사고 변환 중 E는 사고 점수를 얻는 데 사용되는 평가 함수이고, R은 가장 관련성이 높은 생각을 선택하는 데 사용되는 순위 함수입니다.

Inference process

여기서 추론 과정은 방향성 그래프 G = (V, E)로 모델링됩니다. 여기서 V는 꼭지점 집합이고 E ⊆ V × V는 모서리 집합입니다. G는 방향이 있으므로 가장자리는 순서가 지정된 정점 쌍 E ⊆ V × V의 하위 집합입니다. 정점에는 초기 문제, 중간 문제, 최종 문제 등 현재 문제에 대한 솔루션이 포함됩니다. 이러한 사고의 정확한 형태는 사용 사례에 따라 다릅니다. 텍스트 조각(작성 작업) 또는 일련의 값(정렬 작업)일 수 있습니다. 방향성 에지(t_1, t_2)는 t_1을 "직접 입력"으로 사용하여 생각 t_2가 구성되는 방식, 즉 LLM에 t_1을 사용하여 t_2를 생성하도록 명시적으로 지시하는 방식을 나타냅니다.

일부 사용 사례에서는 그래프 노드가 다른 카테고리에 속합니다. 예를 들어 쓰기 작업에서 일부 정점은 텍스트 세그먼트 쓰기 계획을 모델링하고 다른 노드는 실제 텍스트 세그먼트를 모델링합니다. 이 경우 GoT는 LLM 추론을 모델링하기 위해 이종 그래프 G = (V, E, c)를 채택합니다. 여기서 c는 정점 V를 해당 클래스 C에 매핑합니다(위의 경우 C = {plan, par}). 이러한 방식으로 모든 정점 v는 추론의 다양한 측면을 모델링할 수 있습니다.

So G는 LLM 추론 프로세스와 연관되어 있습니다. 이 프로세스를 용이하게 하기 위해 사용자는 G에서 Thought Shift를 사용할 수 있습니다. 이런 종류의 변형의 예는 지금까지 가장 높은 점수를 받은 생각을 새로운 생각으로 융합하는 것입니다. 또 다른 예는 생각을 강화하기 위해 생각을 반복하는 것입니다. 이러한 변환은 CoT, CoT-SC 또는 ToT에서 사용할 수 있는 변환 집합을 엄격하게 확장합니다.

사고의 변화

추론을 위해 그래프 기반 모델을 사용함으로써 GoT는 새로운 사고 전환을 이룰 수 있습니다. 연구자들은 이것을 그래프 기반 변환이라고 부릅니다. 예를 들어, 글쓰기 작업에서 여러 입력 기사를 일관된 요약으로 결합할 수 있습니다. 정렬 시 여러 개의 정렬된 숫자 하위 배열을 최종 정렬 배열로 결합할 수 있습니다. 그림 2는 집계 및 생성의 예를 보여줍니다.

수학적으로 말하면, 이러한 각 변환은 T(G, p_θ)로 모델링될 수 있습니다. 여기서 G = (V, E)는 추론의 현재 상태를 반영하는 그래프이고 p_θ는 사용된 LLM입니다. T는 일반적으로 새 정점과 들어오는 가장자리를 추가하여 G를 수정합니다. 그러면 G' = T (G, p_θ) = (V', E')가 됩니다. 여기서 V' = (V ∪ {V^+}) {V^−} 및 E' = (E ∪ {E^+ } ) {E^−}. V^+와 E^+는 G에 주입된 새로운 정점과 가장자리입니다. 이들은 각각 새로운 사고와 종속성을 모델링합니다.

GoT의 표현력을 극대화하기 위해 사용자는 삭제될 해당 정점과 가장자리(각각 V^− 및 E^−)를 지정하여 생각을 삭제할 수도 있습니다. 여기서 V^+, E^+, V^− 및 E^− 집합이 일관된 변환을 갖도록 하는 것은 사용자의 책임입니다(예를 들어 사용자는 존재하지 않는 정점을 삭제하려고 시도하지 않습니다). 이를 통해 사용자는 개선되지 않은 추론 부분을 제거하여 컨텍스트에서 공간을 절약할 수 있는 프롬프트 솔루션의 원활한 통합이 가능합니다.

T의 특정 형태와 G에 영향을 미치는 방식은 특정 변환에 따라 다릅니다. 다음은 먼저 기본 그래프를 통해 구현된 사고 변환을 자세히 소개한 다음 GoT가 이전 솔루션의 변환을 어떻게 포함하는지 설명합니다. 달리 명시하지 않는 한, V^− = E^− = ∅입니다.

집계 변환: 사용자는 GoT를 사용하여 모든 생각을 새로운 생각으로 집계하여 서로의 강점에서 배울 수 있습니다. 다음은 새 정점만 생성하는 기본 형식을 살펴보겠습니다. V^+ = {v^+} 및 E^+ = {(v_1, v^+), ..., (v_k, v^+)}, 여기서 v_1, ..., v_k는 병합되는 k개의 생각입니다. 보다 일반적으로 이는 추론 경로의 집합, 즉 개별적인 생각이 아닌 생각의 긴 사슬을 통합하는 것을 가능하게 합니다. 그래프 모델을 사용하면 집계 변환을 쉽게 구현할 수 있습니다. 여러 체인의 마지막 생각을 모델링하는 정점 v_1, ..., v_k에서 나가는 가장자리를 추가하여 이러한 체인을 결합하는 단일 생각 v^+를 가리킵니다.

변환 구체화: 또 다른 사고 변환은 내용을 수정하여 현재 사고 v를 구체화하는 것입니다: V^+ = {} 및 E^+ = {(v, v)}. 다이어그램의 이 루프는 원래 생각과 동일한 연결을 갖는 반복적인 버전의 사고를 나타냅니다.

변환 생성: 마지막으로 사용자는 기존 단일 생각을 기반으로 하나 이상의 새로운 생각을 생성할 수도 있습니다. 이 범주에는 ToT 또는 CoT-SC와 같은 이전 체계의 유사한 추론 단계가 포함됩니다. 수학적으로 말하면

아이디어 점수 매기기 및 순위 매기기

아이디어 점수 매기기의 목적은 현재 솔루션이 충분히 좋은지 이해하는 것입니다. 점수는 일반 함수 E(v, G, p_θ)로 모델링되며, 여기서 v는 평가되는 생각입니다. E를 가능한 한 일반적으로 만들기 위해 전체 추론 과정(G)이 E에서도 사용됩니다. 일부 평가 시나리오에서는 점수가 다른 사고와 관련될 수 있기 때문입니다.

GoT도 순위를 매길 수 있습니다. 연구원들은 R(G, p_θ, h) 함수를 사용하여 모델링했습니다. 여기서 h는 R이 반환할 G의 최상위 생각 수를 지정합니다. R의 정확한 형태는 사용 사례에 따라 다르지만 가장 일반적으로 사용되는 간단하면서도 효과적인 접근 방식은 가장 높은 점수를 가진 h개의 생각을 반환하는 것입니다. 즉, v_1, ..., v_h = R (G, p_θ, h) .

E와 R의 정확한 형태는 사용 사례에 따라 다릅니다.

시스템 아키텍처 및 확장성

GoT는 일련의 대화형 모듈로 구성됩니다. 그림 3(파란색 부분)을 참조하세요. 이러한 모듈은 Prompter(LLM용 메시지 준비), Parser(파서, LLM 응답에서 정보 추출), Scoring 모듈(LLM 응답 및 점수 확인), Controller(컨트롤러, 전체 추론 프로세스 조정 및 추론 진행 방법 결정)입니다. 컨트롤러에는 GoO(작업 그래프)와 GRS(그래프 추론 상태)라는 두 가지 중요한 구성 요소가 더 포함되어 있습니다. GoO는 주어진 작업에 대한 그래프 분해를 지정하는 정적 구조입니다. 즉, LLM 사고와 그 순서 및 종속성에 적용되는 변환을 지정합니다. GRS는 진행 중인 LLM 추론 프로세스의 상태(생각의 역사 및 상태)를 유지하는 동적 구조입니다.

사용 사례 예

연구원들은 정렬, 집합 연산, 키워드 계산, 문서 병합 등 GoT의 일부 사용 사례를 설명합니다. 아래 그림 4는 GoT 정렬 사용 사례의 그래프 분해 예입니다. 여기서는 사용 사례를 자세히 소개하지 않습니다. 자세한 내용은 원본 문서를 참조하세요.

대기 시간 대 용량 절충

대기 시간(마인드 맵에서 주어진 최종 생각에 도달하기 위한 홉 수)과 용량 간의 절충도 매우 중요하며 연구자들은 GoT는 이러한 절충안을 겪고 있음을 보여 주며 이전 프롬프트 디자인 솔루션보다 우수합니다. 이 논문은 주어진 생각 t에 영향을 미칠 수 있는 이전 LLM 생각의 수인 사고 용량이라는 새로운 측정 기준을 정의합니다. 수학적으로 생각의 용량 t는 사고 지도에서 t와 t 사이의 경로를 갖는 생각의 수입니다. 연구자들은 단일 생각을 출력하는 데 드는 비용을 O(1)로 가정하고 각 프롬프트 솔루션의 총 비용을 Θ(n)으로 고정했습니다.

다양한 스킴의 구조는 다음과 같습니다. CoT-SC는 단일 시작 생각에서 비롯된 k개의 독립 체인으로 구성됩니다. ToT는 완전한 k-ary 트리입니다. GoT에서는 완전한 k-ary 트리가 "미러" k-ary 트리와 함께 리프 노드에 추가됩니다. 크기는 동일하지만 가장자리가 반대입니다.

자세한 분석은 표 2를 참조하세요. CoT는 최대 N까지 더 큰 용량을 갖지만 대기 시간 비용도 N만큼 높습니다. CoT-SC는 지연 시간을 k배(분기 인수에 해당)만큼 줄이지만 동시에 용량도 k배만큼 감소합니다. ToT의 지연 시간은 log_k N이지만 용량도 낮습니다. GoT는 저지연 log_k N과 고용량 N을 달성할 수 있는 유일한 솔루션입니다. GoT는 생각 집계를 활용하여 그래프 분해의 다른 중간 생각에서 최종 생각에 도달할 수 있기 때문에 이를 수행할 수 있습니다.