기술 주변기기 일체 포함 두 개의 작은 모델이 서로를 검증하고 큰 모델과 직접 비교할 수 있나요? Microsoft의 rStar는 CoT와 미세 조정도 사용하지 않습니다.

두 개의 작은 모델이 서로를 검증하고 큰 모델과 직접 비교할 수 있나요? Microsoft의 rStar는 CoT와 미세 조정도 사용하지 않습니다.

Aug 16, 2024 pm 04:38 PM
프로젝트

작은 모델이 큰 문제를 해결할 수 있도록 서로 확인해보세요.

우리 모두 알고 있듯이 LLM은 강력하지만 복잡한 추론을 수행하는 능력은 충분히 강력하지 않습니다.

예를 들어 GSM8K 데이터 세트에서 Mistral-7B는 CoT(Chain of Thought)와 같은 기술을 사용해도 36.5%의 정확도만 달성할 수 있습니다. 미세 조정이 실제로 추론 기능을 효과적으로 향상시킬 수 있지만 대부분의 LLM은 GPT-4와 같은 보다 강력한 모델에서 추출되었거나 이러한 강력한 모델에 의해 합성되었을 수도 있는 미세 조정 데이터에 의존합니다.

동시에 연구원들은 추론 능력을 향상시키기 위해 더 나은 교사 LLM을 사용하는 보조적이지만 더 어려운 방법을 적극적으로 개발하고 있습니다.

더 나은 모델 없이 추론 능력을 향상시키기 위한 유망한 패러다임은 LLM 자체에 지식을 활용하는 것입니다. 예를 들어 RAP라는 방법은 자기 보상 피드백을 통해 LLM의 추론 성능을 반복적으로 향상시키는 자기 탐색 솔루션을 채택합니다. 불행하게도 연구 결과에 따르면 이 패러다임에는 두 가지 근본적인 문제가 있는 것으로 나타났습니다.

첫째, LLM은 추론을 수행할 때 솔루션 공간을 효과적으로 탐색하는 데 어려움을 겪는 경우가 많습니다. 이러한 자기 탐색적 접근 방식은 여러 번의 시도 후에도 낮은 품질의 추론 단계로 인해 솔루션 공간에 정체되는 경우가 많습니다.

둘째, 자체 탐색을 통해 고품질의 추론 단계를 찾았더라도 소규모 버전의 대형 언어 모델(SLM)에서는 어떤 추론 단계의 품질이 더 높은지 식별하고 최종 답변이 올바른지 판단하기 어렵습니다. 자기탐색을 효과적으로 지도하기 어렵게 만든다. 연구에 따르면 기본적인 정기 보상을 기반으로 한 자기 탐구는 무작위 추측보다 나을 것이 없는 결과를 낳습니다.

더 문제가 되는 것은 SLM(대형 언어 모델)의 작은 버전은 성능이 떨어지기 때문에 위의 두 가지 문제가 발생하기 쉽다는 것입니다. 예를 들어 GPT-4는 자체 최적화를 통해 출력 결과를 향상시킬 수 있지만 SLM에서는 이를 수행하기 어렵고 출력 결과의 품질을 저하시키는 원인이 될 수도 있습니다. 이는 신경 언어 모델의 대중화와 적용을 심각하게 방해할 것입니다.

이러한 문제에 대응하기 위해 Microsoft Research Asia와 Harvard University의 연구팀은 Self-play MuTuAl Reasoning, 줄여서 rStar를 제안했습니다. 간단히 말하면, 이 방법은 보통의 두 학생에게 시험지의 답안을 서로 확인하게 하고, 궁극적으로 최고의 학자들과도 경쟁할 수 있을 정도로 점수를 향상시키는 것과 비슷합니다. 팀은 rStar가 "미세 조정이나 더 나은 모델 없이도 SLM의 추론 기능을 향상시킨다"고 주장합니다.

두 개의 작은 모델이 서로를 검증하고 큰 모델과 직접 비교할 수 있나요? Microsoft의 rStar는 CoT와 미세 조정도 사용하지 않습니다.

  • 논문 제목: Mutual Reasoning Makes Small LLMs Stronger Problem-Solvers

  • 논문 주소: https://arxiv.org/pdf/2408.06195

  • 코드 주소: https://github. com/zhentingqi/rStar (출시 예정)

Method

위의 문제를 해결하기 위해 rStar의 접근 방식은 그림 2와 같이 추론 프로세스를 솔루션 생성과 상호 검증의 두 부분으로 나누는 것입니다. .

두 개의 작은 모델이 서로를 검증하고 큰 모델과 직접 비교할 수 있나요? Microsoft의 rStar는 CoT와 미세 조정도 사용하지 않습니다.

첫 번째 퍼즐에서 팀은 다양한 추론 작업 공간을 철저하게 탐구하는 인간과 같은 풍부한 추론 활동 컬렉션을 소개합니다.

두 번째 문제의 경우, 신뢰할 수 없는 자체 평가에 의존하지 않도록 중간 단계를 평가할 수 있는 SLM용 보상 기능을 특별히 설계했습니다.

또한 팀은 MCTS 프로세스를 향상시키기 위해 또 다른 SLM을 판별자로 사용하여 판별자 SLM으로 각 궤적의 정확성을 상호 검증했습니다.

MCTS 롤아웃을 사용하여 추론 궤적을 직접 생성하세요

인간과 유사한 추론 작업의 풍부한 컬렉션입니다. MCTS 생성의 핵심은 트리 탐색의 범위를 정의하는 행동 공간에 있습니다. 대부분의 MCTS 기반 방법은 트리를 구축할 때 단일 작업 유형을 사용합니다. 예를 들어, RAP의 작업은 다음 하위 질문을 묻는 것이고, AlphaMath 및 MindStar의 작업은 다음 추론 단계를 생성하는 것입니다. 그러나 단일 작업 유형에 의존하면 우주 탐사가 제대로 이루어지지 않을 수 있습니다.

이 문제를 해결하기 위해 팀에서는 인간이 추론을 수행하는 방식을 검토했습니다. 사람들은 서로 다른 방식으로 문제를 해결합니다. 어떤 사람들은 문제를 하위 문제로 나누고, 다른 사람들은 문제를 직접 해결하고, 또 다른 사람들은 문제를 다른 관점에서 다시 표현합니다. 게다가 사람들은 현재 상태에 따라 자신의 방법을 조정하고 필요에 따라 다양한 행동을 선택할 것입니다.

인간의 추론 과정에서 영감을 받아 팀은 복잡한 추론 문제를 올바르게 해결하기 위해 SLM의 잠재력을 극대화하기 위해 5가지 유형의 작업이 포함된 더욱 풍부한 데이터 세트를 구축했습니다.

Aktion 1: Schlagen Sie einen Gedankenschritt vor. Für ein bestimmtes Problem führt diese Aktion dazu, dass LLM den nächsten Denkschritt basierend auf den vorhandenen Argumentationsschritten generiert.

Aktion 2: Schlagen Sie die restlichen Schritte vor. Diese Aktion ermöglicht, wie ein Standard-CoT, „schnelles Denken“, um einfache Probleme in nur wenigen Schritten zu lösen. Anhand der generierten Inferenzschritte kann das LLM direkt die verbleibenden Schritte generieren, bis die endgültige Antwort erhalten wird.

Aktion 3: Schlagen Sie die nächste Unterfrage und deren Antwort vor.

Aktion 4: Beantworten Sie diese Unterfrage noch einmal. Da Aktion 3 die entsprechende Unterfrage möglicherweise nicht richtig beantwortet, besteht die Aufgabe dieser Aktion darin, sie erneut zu beantworten.

Aktion 5: Formulieren Sie das Problem/Teilproblem neu. Dieser neue Schritt besteht darin, das Problem auf einfachere Weise neu zu formulieren. Konkret geht es hier darum, dass der LLM alle Bedingungen in der Problemstellung klar auflistet.

Die oben genannten fünf Aktionen definieren einen äußerst vielfältigen Aktionsraum {A1, A2, A3, A4, A5}.

Bei jedem Schritt i wählt MCTS eine Aktion a_i aus diesem Bereich aus. Diese Aktion a_i wird dann verwendet, um das LLM den nächsten Inferenzschritt s_i basierend auf dem aktuellen Zustand (d. h. der zuvor generierten Trajektorie x ⊕ s_1 ⊕ s_2 ⊕ ... ⊕ s_{i−1}) generieren zu lassen. Bitte beachten Sie, dass einige Aktionen in der richtigen Reihenfolge ausgeführt werden müssen. Abbildung 3 zeigt ein Beispiel.

두 개의 작은 모델이 서로를 검증하고 큰 모델과 직접 비교할 수 있나요? Microsoft의 rStar는 CoT와 미세 조정도 사용하지 않습니다.

Wie in Tabelle 1 gezeigt, spielt jede Aktion eine wichtige Rolle bei der Verbesserung der endgültigen Inferenzgenauigkeit.

두 개의 작은 모델이 서로를 검증하고 큰 모델과 직접 비교할 수 있나요? Microsoft의 rStar는 CoT와 미세 조정도 사용하지 않습니다.

  • Belohnungsfunktion

Eine weitere Schlüsselkomponente von MCTS ist die Belohnungsfunktion, die den Wert jeder Aktion bewertet und einen Hinweis für die Erweiterung des Baums liefert. Für SLM hat das Team eine einfache, aber effektive Belohnungsfunktion entwickelt. Ihr von AlphaGo inspirierter Ansatz bewertet jeden Zwischenknoten anhand seines Beitrags zur endgültigen richtigen Antwort. Auf diese Weise erhalten Aktionen, die häufig zu richtigen Antworten führen, höhere Belohnungen und es ist wahrscheinlicher, dass sie in zukünftigen MCTS-Baumerweiterungen ausgewählt werden.

Hier wird der Belohnungswert der nach der Ausführung von Aktion a generierten Knoten s als Q (s, a) definiert. Zunächst wird allen unerforschten Knoten Q (s_i, a_i) = 0 zugewiesen, wodurch eine zufällige Baumerweiterung erreicht wird. Beim Erreichen des ersten Endknotens n_d wird ein Belohnungswert Q (s_d, a_d) basierend darauf berechnet, ob die richtige Antwort gegeben wird.

Dann wird dieser Score an jeden Zwischenknoten entlang der Trajektorie t = x ⊕ s_1 ⊕ s_2 ⊕ ... ⊕ s_d zurückpropagiert. Insbesondere wird für jedes s_i sein Q-Wert wie folgt aktualisiert: Q (s_i, a_i) = Q (s_i, a_i) + Q (s_d, a_d). Um Q(s_d, a_d) für einen Endknoten zu berechnen, ist der hier verwendete Belohnungswert die Wahrscheinlichkeit (Konfidenz) einer selbstkonsistenten Mehrheitsentscheidung.

  • Verwenden Sie MCTS Rollout, um Lösungen zu generieren

Im Folgenden wird beschrieben, wie MCTS Argumentationspfade für Kandidaten generiert. Ausgehend vom anfänglichen Wurzelknoten s_0 werden verschiedene Suchvorgänge durchgeführt, darunter Auswahl, Erweiterung, Simulation und Backpropagation. Insbesondere verwendet die Simulation die Standard-Rollout-Strategie. Um eine genauere Belohnungsschätzung zu erhalten, führt das Team mehrere Rollouts durch. Um Exploration und Exploitation in Einklang zu bringen, verwenden sie die bekannte UCT (obere Konfidenzgrenze des Baums), um jeden Knoten auszuwählen. Die mathematische Form dieses Auswahlprozesses lautet:

wobei N (s, a) die Anzahl der Besuche von Knoten s in der vorherigen Iteration ist und N_parent (s) die Anzahl der Besuche des übergeordneten Knotens von s darstellt. Q (s, a) ist der geschätzte Belohnungswert, der während der Backpropagation aktualisiert wird. c ist eine Konstante, die Exploration und Ausbeutung in Einklang bringt.

Sobald die Suche einen Endknoten erreicht (bei dem es sich um einen Endzustand handeln oder eine vordefinierte maximale Baumtiefe d erreichen kann), kann eine Trajektorie von der Wurzel zum Endknoten ermittelt werden. Alle durch die Rollout-Iteration erhaltenen Trajektorien werden als Kandidatenlösungen gesammelt. Als nächstes müssen sie überprüft werden.

Auswahl von Inferenztrajektorien mithilfe von Kohärenz

Basierend auf allen gesammelten Trajektorien schlägt das Team vor, Inferenzkohärenz zur Auswahl von Antworten zu verwenden.

  • Inferenzkohärenz durch Diskriminator-SLM erreichen

Wie in Abbildung 2 dargestellt, führte das Team zusätzlich zum Ziel-SLM auch einen Diskriminator-SLM ein, dessen Aufgabe darin besteht, für jeden Kandidaten ein externes, unbeaufsichtigtes Feedback zur Flugbahn bereitzustellen.

Insbesondere maskieren Sie für t = x ⊕ s_1 ⊕ s_2 ⊕ ... ⊕ s_d den Inferenzschritt beginnend bei einem zufällig ausgewählten Schritt i. Dann wird die vorherige Inferenztrajektorie t = x ⊕ s_1 ⊕ s_2 ⊕ ... ⊕ s_{i-1} dem Diskriminator-SLM als Aufforderung zur Verfügung gestellt, damit er die verbleibenden Schritte abschließen kann. Da die vorherigen i-1-Inferenzschritte als Hinweise verwendet werden, wird die Schwierigkeit verringert und es ist wahrscheinlicher, dass der Diskriminator-SLM die richtige Antwort gibt.

Abbildung 4 vergleicht, ob die Antwort der Diskriminator-SLM-Vervollständigung mit der ursprünglichen Flugbahn t übereinstimmt. Wenn beide konsistent sind, wird t als verifizierte Trajektorie betrachtet, die schließlich ausgewählt werden kann.

두 개의 작은 모델이 서로를 검증하고 큰 모델과 직접 비교할 수 있나요? Microsoft의 rStar는 CoT와 미세 조정도 사용하지 않습니다.

Die endgültige Flugbahn wird vom Ziel-SLM ausgewählt. Nachdem Sie die Inferenzkohärenz auf alle Kandidatentrajektorien angewendet haben, kehren Sie zum Ziel-SLM zurück und lassen Sie ihn die endgültige Trajektorie aus den verifizierten Trajektorien auswählen. Um den Endwert für jede Flugbahn zu berechnen, multiplizierte das Team seine Belohnung mit dem durch Rollout erhaltenen Vertrauenswert seines Endknotens. Als Lösung wird die Trajektorie mit der höchsten Endpunktzahl ausgewählt.

Experimente

Experimenteller Aufbau

rStar eignet sich für eine Vielzahl von LLM- und Inferenzaufgaben. Das Team bewertete 5 SLMs: Phi3-mini, LLaMA2-7B, Mistral-7B, LLaMA3-8B, LLaMA3-8B-Instruct.

Es werden 5 Denkaufgaben getestet, darunter 4 mathematische Aufgaben (GSM8K, GSM-Hard, MATH, SVAMP) und 1 Aufgabe mit gesundem Menschenverstand (StrategyQA).

Bitte besuchen Sie das Originalpapier für experimentelle Details.

Wichtige Ergebnisse

Das Team bewertete zunächst die Wirksamkeit von rStar anhand eines allgemeinen Inferenz-Benchmarks. Tabelle 2 vergleicht die Genauigkeit von rStar und anderen hochmodernen Methoden für verschiedene SLM- und Inferenzdatensätze. Um die Wirksamkeit des neuen Generators zu demonstrieren, stellt das Team auch die Genauigkeit von rStar (Generator @maj) ohne Diskriminator bereit und verwendet zur Überprüfung der Antwort nur Mehrheitsentscheidungen.

두 개의 작은 모델이 서로를 검증하고 큰 모델과 직접 비교할 수 있나요? Microsoft의 rStar는 CoT와 미세 조정도 사용하지 않습니다.

Das Team wies auf drei wichtige Ergebnisse hin:

1. SLMs mit rStar-Technologie sind besser in der Lage, Probleme zu lösen. Im GSM8K-Datensatz beträgt beispielsweise die Genauigkeit von LLaMA2-7B unter Verwendung von CoT mit wenigen Stichproben nur 12,51 %. Mit Hilfe von rStar stieg die Genauigkeit jedoch auf 63,91 %, was nahe an der durch Feinabstimmung erzielten Genauigkeit liegt, wie in Abbildung 1 dargestellt. Ebenso übertraf Mistral mit rStar sogar die optimierte Version von MetaMath um 4,18 %. Eine solche Verbesserung zeigt, dass SLM selbst bereits über starke Denkfähigkeiten verfügt, aber Anleitung benötigt, um die richtigen Antworten zu generieren und auszuwählen.

두 개의 작은 모델이 서로를 검증하고 큰 모델과 직접 비교할 수 있나요? Microsoft의 rStar는 CoT와 미세 조정도 사용하지 않습니다.

2.rStar kann die Inferenzgenauigkeit verschiedener SLMs, die für verschiedene Aufgaben bewertet wurden, stabil auf das aktuell beste Niveau verbessern. Im Vergleich dazu sind andere Vergleichsmethoden nicht in der Lage, bei allen vier Benchmarks eine durchgängig gute Leistung zu erzielen. Obwohl SC (Selbstkonsistenz) beispielsweise bei drei mathematischen Aufgaben gut ist, ist es bei der Lösung der logischen Denkaufgabe von StrategyQA nicht effektiv.

3. Auch ohne den neu vorgeschlagenen Diskriminator zur Überprüfung von Inferenztrajektorien funktioniert der neu vorgeschlagene MCTS-Generator immer noch gut bei der Verbesserung der Inferenzgenauigkeit von SLM. Im GSM8K-Datensatz ist beispielsweise die Genauigkeit von rStar (Generator @maj) 2,88 %–16,39 % höher als RAP, 10,60 %–38,37 % höher als ToT und 1,69 %–7,34 % höher als SC.

  • Ergebnisse zu einem schwierigeren Mathematikdatensatz

Das Team bewertete rStar auch anhand eines schwierigeren Mathematikdatensatzes. Dafür wählten sie GSM-Hard- und MATH-Datensätze. Der Konvention ähnlicher Studien folgend, verwendeten sie MATH-500, eine Teilmenge repräsentativer Probleme aus dem MATH-Datensatz. Dies geschieht, um die Auswertungsgeschwindigkeit zu verbessern. Wie in den Tabellen 2 und 3 gezeigt, ist rStar in der Lage, die Inferenzgenauigkeit von SLM bei diesen schwierigen mathematischen Datensätzen deutlich zu verbessern.

두 개의 작은 모델이 서로를 검증하고 큰 모델과 직접 비교할 수 있나요? Microsoft의 rStar는 CoT와 미세 조정도 사용하지 않습니다.

Ablationsstudie

  • Wirksamkeit verschiedener Rollouts

rStar nutzte die Rollout-Strategie, um eine MCTS-Baumerweiterung durchzuführen. Mehr Rollouts generieren mehr potenzielle Lösungsverläufe, erhöhen aber auch die Kosten für die Inferenz. Abbildung 5 vergleicht die Genauigkeit von SC, RAP und rStar bei verschiedenen Rollouts auf GSM8K.

두 개의 작은 모델이 서로를 검증하고 큰 모델과 직접 비교할 수 있나요? Microsoft의 rStar는 CoT와 미세 조정도 사용하지 않습니다.

Hier werden zwei wichtige Beobachtungen gemacht:

1. Selbst mit nur 2 Rollouts kann rStar die Inferenzgenauigkeit von SLM erheblich verbessern, was seine Wirksamkeit zeigt
2. Sowohl rStar als auch SC sind von Vorteil. während der RAP nach 4 Rollouts tendenziell gesättigt ist oder sogar abnimmt. Ein Grund dafür ist, dass der Einzeltyp-Aktionsraum von RAP die Effektivität der MCTS-Erkundung einschränkt.
  • Wirksamkeit des MCTS-Generators

Das Team verglich die Wirksamkeit des MCTS-Generators mit drei anderen Generatoren. Wie in Tabelle 4 gezeigt, übertrifft der neu vorgeschlagene MCTS-Generator andere Generatoren auf ganzer Linie. Darüber hinaus wird die Wirksamkeit von auf SLM abgestimmten Belohnungsfunktionen demonstriert, da die Selbstbewertung die Genauigkeit neuer Generatoren verringert.

두 개의 작은 모델이 서로를 검증하고 큰 모델과 직접 비교할 수 있나요? Microsoft의 rStar는 CoT와 미세 조정도 사용하지 않습니다.

  • Wirksamkeit des Diskriminators in einem Bewertungsexperiment.

  • Das erste Experiment besteht darin, die diskriminierende Methode mit Mehrheitsentscheidungs- und Selbstvalidierungsmethoden zu vergleichen. Die Ergebnisse sind in Tabelle 5 (links) dargestellt und es ist ersichtlich, dass die Vorteile der Diskriminierungsmethode sehr groß sind.

Das zweite Experiment besteht darin, die Auswirkungen verschiedener Diskriminatormodelle zu untersuchen. Die Ergebnisse sind in Tabelle 5 (rechts) dargestellt. Es ist ersichtlich, dass die Auswahl verschiedener Diskriminatormodelle normalerweise keinen Einfluss auf die Wirksamkeit der Inferenzkohärenzmethode zur Überprüfung der Antwort hat. Es ist erwähnenswert, dass sich die Leistung selbst bei Verwendung des leistungsstarken GPT-4 als Diskriminator nur geringfügig verbessert (von 91,13 % auf 92,57 %). Dies zeigt, dass die inferentielle Kohärenzmethode SLM effektiv zur Überprüfung von Antworten nutzen kann.

위 내용은 두 개의 작은 모델이 서로를 검증하고 큰 모델과 직접 비교할 수 있나요? Microsoft의 rStar는 CoT와 미세 조정도 사용하지 않습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

Video Face Swap

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

인기 기사

<gum> : Bubble Gum Simulator Infinity- 로얄 키를 얻고 사용하는 방법
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
Nordhold : Fusion System, 설명
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
Mandragora : 마녀 트리의 속삭임 - Grappling Hook 잠금 해제 방법
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

ControlNet의 저자가 또 다른 히트를 쳤습니다! 이틀 만에 14,000개의 별을 획득하여 그림에서 그림을 생성하는 전체 과정 ControlNet의 저자가 또 다른 히트를 쳤습니다! 이틀 만에 14,000개의 별을 획득하여 그림에서 그림을 생성하는 전체 과정 Jul 17, 2024 am 01:56 AM

역시 Tusheng 영상이지만 PaintsUndo는 다른 경로를 택했습니다. ControlNet 작성자 LvminZhang이 다시 살기 시작했습니다! 이번에는 회화 분야를 목표로 삼고 있습니다. 새로운 프로젝트인 PaintsUndo는 출시된 지 얼마 되지 않아 1.4kstar(여전히 상승세)를 받았습니다. 프로젝트 주소: https://github.com/lllyasviel/Paints-UNDO 이 프로젝트를 통해 사용자는 정적 이미지를 입력하고 PaintsUndo는 자동으로 라인 초안부터 완성품 따라가기까지 전체 페인팅 과정의 비디오를 생성하도록 도와줍니다. . 그리는 과정에서 선의 변화가 놀랍습니다. 최종 영상 결과는 원본 이미지와 매우 유사합니다. 완성된 그림을 살펴보겠습니다.

오픈 소스 AI 소프트웨어 엔지니어 목록의 1위인 UIUC의 에이전트 없는 솔루션은 SWE 벤치의 실제 프로그래밍 문제를 쉽게 해결합니다. 오픈 소스 AI 소프트웨어 엔지니어 목록의 1위인 UIUC의 에이전트 없는 솔루션은 SWE 벤치의 실제 프로그래밍 문제를 쉽게 해결합니다. Jul 17, 2024 pm 10:02 PM

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com 이 논문의 저자는 모두 일리노이 대학교 Urbana-Champaign(UIUC)의 Zhang Lingming 교사 팀 출신입니다. Steven Code Repair, 박사 4년차, 연구원

RLHF에서 DPO, TDPO까지 대규모 모델 정렬 알고리즘은 이미 '토큰 수준'입니다. RLHF에서 DPO, TDPO까지 대규모 모델 정렬 알고리즘은 이미 '토큰 수준'입니다. Jun 24, 2024 pm 03:04 PM

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com 인공 지능 개발 과정에서 LLM(대형 언어 모델)의 제어 및 안내는 항상 핵심 과제 중 하나였으며 이러한 모델이 두 가지 모두를 보장하는 것을 목표로 했습니다. 강력하고 안전하게 인간 사회에 봉사합니다. 인간 피드백(RL)을 통한 강화 학습 방법에 초점을 맞춘 초기 노력

arXiv 논문은 '연발'로 게시될 수 있습니다. Stanford alphaXiv 토론 플랫폼은 온라인이며 LeCun은 이를 좋아합니다. arXiv 논문은 '연발'로 게시될 수 있습니다. Stanford alphaXiv 토론 플랫폼은 온라인이며 LeCun은 이를 좋아합니다. Aug 01, 2024 pm 05:18 PM

건배! 종이 토론이 말로만 진행된다면 어떤가요? 최근 스탠포드 대학교 학생들은 arXiv 논문에 대한 질문과 의견을 직접 게시할 수 있는 arXiv 논문에 대한 공개 토론 포럼인 alphaXiv를 만들었습니다. 웹사이트 링크: https://alphaxiv.org/ 실제로 이 웹사이트를 특별히 방문할 필요는 없습니다. URL에서 arXiv를 alphaXiv로 변경하면 alphaXiv 포럼에서 해당 논문을 바로 열 수 있습니다. 논문, 문장: 오른쪽 토론 영역에서 사용자는 저자에게 논문의 아이디어와 세부 사항에 대해 질문하는 질문을 게시할 수 있습니다. 예를 들어 다음과 같이 논문 내용에 대해 의견을 제시할 수도 있습니다.

OpenAI Super Alignment Team의 사후 작업: 두 개의 대형 모델이 게임을 하고 출력이 더 이해하기 쉬워졌습니다. OpenAI Super Alignment Team의 사후 작업: 두 개의 대형 모델이 게임을 하고 출력이 더 이해하기 쉬워졌습니다. Jul 19, 2024 am 01:29 AM

AI 모델이 내놓은 답변이 전혀 이해하기 어렵다면 감히 사용해 보시겠습니까? 기계 학습 시스템이 더 중요한 영역에서 사용됨에 따라 우리가 그 결과를 신뢰할 수 있는 이유와 신뢰할 수 없는 경우를 보여주는 것이 점점 더 중요해지고 있습니다. 복잡한 시스템의 출력에 대한 신뢰를 얻는 한 가지 가능한 방법은 시스템이 인간이나 다른 신뢰할 수 있는 시스템이 읽을 수 있는 출력 해석을 생성하도록 요구하는 것입니다. 즉, 가능한 오류가 발생할 수 있는 지점까지 완전히 이해할 수 있습니다. 설립하다. 예를 들어, 사법 시스템에 대한 신뢰를 구축하기 위해 우리는 법원이 자신의 결정을 설명하고 뒷받침하는 명확하고 읽기 쉬운 서면 의견을 제공하도록 요구합니다. 대규모 언어 모델의 경우 유사한 접근 방식을 채택할 수도 있습니다. 그러나 이 접근 방식을 사용할 때는 언어 모델이 다음을 생성하는지 확인하세요.

리만 가설의 중요한 돌파구! 타오저쉬안(Tao Zhexuan)은 MIT와 옥스퍼드의 새로운 논문을 적극 추천했으며, 37세의 필즈상 수상자도 참여했다. 리만 가설의 중요한 돌파구! 타오저쉬안(Tao Zhexuan)은 MIT와 옥스퍼드의 새로운 논문을 적극 추천했으며, 37세의 필즈상 수상자도 참여했다. Aug 05, 2024 pm 03:32 PM

최근 새천년 7대 과제 중 하나로 알려진 리만 가설이 새로운 돌파구를 마련했다. 리만 가설은 소수 분포의 정확한 특성과 관련된 수학에서 매우 중요한 미해결 문제입니다(소수는 1과 자기 자신으로만 나눌 수 있는 숫자이며 정수 이론에서 근본적인 역할을 합니다). 오늘날의 수학 문헌에는 리만 가설(또는 일반화된 형식)의 확립에 기초한 수학적 명제가 천 개가 넘습니다. 즉, 리만 가설과 그 일반화된 형식이 입증되면 천 개가 넘는 명제가 정리로 확립되어 수학 분야에 지대한 영향을 미칠 것이며, 리만 가설이 틀린 것으로 입증된다면, 이러한 제안의 일부도 그 효과를 잃을 것입니다. MIT 수학 교수 Larry Guth와 Oxford University의 새로운 돌파구

LLM은 시계열 예측에 적합하지 않습니다. 추론 능력도 사용하지 않습니다. LLM은 시계열 예측에 적합하지 않습니다. 추론 능력도 사용하지 않습니다. Jul 15, 2024 pm 03:59 PM

시계열 예측에 언어 모델을 실제로 사용할 수 있나요? Betteridge의 헤드라인 법칙(물음표로 끝나는 모든 뉴스 헤드라인은 "아니오"로 대답할 수 있음)에 따르면 대답은 아니오여야 합니다. 사실은 사실인 것 같습니다. 이렇게 강력한 LLM은 시계열 데이터를 잘 처리할 수 없습니다. 시계열, 즉 시계열은 이름에서 알 수 있듯이 시간 순서대로 배열된 데이터 포인트 시퀀스 집합을 나타냅니다. 시계열 분석은 질병 확산 예측, 소매 분석, 의료, 금융 등 다양한 분야에서 중요합니다. 시계열 분석 분야에서는 최근 많은 연구자들이 LLM(Large Language Model)을 사용하여 시계열의 이상 현상을 분류, 예측 및 탐지하는 방법을 연구하고 있습니다. 이 논문에서는 텍스트의 순차적 종속성을 잘 처리하는 언어 모델이 시계열로도 일반화될 수 있다고 가정합니다.

최초의 Mamba 기반 MLLM이 출시되었습니다! 모델 가중치, 학습 코드 등은 모두 오픈 소스입니다. 최초의 Mamba 기반 MLLM이 출시되었습니다! 모델 가중치, 학습 코드 등은 모두 오픈 소스입니다. Jul 17, 2024 am 02:46 AM

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com 서문 최근 몇 년 동안 다양한 분야에서 MLLM(Multimodal Large Language Model)의 적용이 눈에 띄는 성공을 거두었습니다. 그러나 많은 다운스트림 작업의 기본 모델로서 현재 MLLM은 잘 알려진 Transformer 네트워크로 구성됩니다.

See all articles