기술 주변기기 일체 포함 TRIBE는 도메인 적응 견고성을 달성하고 여러 실제 시나리오에서 SOTA의 AAAII 2024에 도달합니다.

TRIBE는 도메인 적응 견고성을 달성하고 여러 실제 시나리오에서 SOTA의 AAAII 2024에 도달합니다.

Jan 01, 2024 am 10:38 AM
프로젝트

Test-Time Adaptation의 목적은 추론 단계에서 소스 도메인 모델을 테스트 데이터에 적응시키는 것이며, 알려지지 않은 이미지 손상 필드에 적응하는 데 탁월한 결과를 얻었습니다. 그러나 현재의 많은 방법에는 실제 시나리오의 테스트 데이터 흐름에 대한 고려가 부족합니다. 예:

  • 테스트 데이터 흐름은 시간에 따라 변하는 분포여야 합니다(기존 도메인 적응의 고정 분포가 아님).
  • 테스트 데이터 스트림에 (완전히 독립적이고 동일하게 분산된 샘플링이 아닌) 로컬 클래스 상관 관계가 있을 수 있습니다.
  • 테스트 데이터 스트림은 여전히 ​​오랫동안 글로벌 클래스 불균형을 보여줍니다

최근 , South China University of Technology, A*STAR 및 CUHK-Shenzhen 팀은 이러한 실제 시나리오에서 데이터 스트림을 테스트하면 기존 방법에 큰 어려움을 초래할 것이라는 광범위한 실험을 통해 입증했습니다. 연구팀은 최첨단 방법의 실패가 먼저 불균형한 테스트 데이터를 기반으로 정규화 계층을 무분별하게 조정함으로써 발생한다고 믿고 있습니다.

이를 위해 연구팀은 추론 단계에서 기존 배치 정규화 계층을 대체할 혁신적인 Balanced BatchNorm 계층을 제안했습니다. 동시에 그들은 알려지지 않은 테스트 데이터 스트림에서 학습하기 위해 자체 훈련(ST)에만 의존하면 과도한 적응(의사 레이블 카테고리 불균형, 대상 도메인이 고정 도메인이 아님)으로 쉽게 이어질 수 있음을 발견했습니다. 변화하는 도메인에서의 성능.

따라서 팀에서는
고정 손실(Anchored Loss)을 통해 모델 업데이트를 정규화하여 지속적인 도메인 이전에서 자체 학습을 개선하고 모델의 견고성을 크게 향상시키는 데 도움을 줄 것을 권장합니다. 결국 모델 TRIBE는 4개의 데이터 세트와 다양한 실제 테스트 데이터 스트림 설정에서 안정적으로 최첨단 성능을 달성했으며 기존의 고급 방법을 크게 능가했습니다. 연구 논문이 AAAI 2024에 승인되었습니다.

AAAI 2024 | 测试时领域适应的鲁棒性得以保证,TRIBE在多真实场景下达到SOTA

논문 링크: https://arxiv.org/abs/2309.14949
코드 링크: https://github.com/Gorilla-Lab-SCUT/TRIBE

Introduction
Depth 신경망의 성공은 훈련된 모델을 테스트 도메인의 i.i.d 가정으로 일반화하는 데 달려 있습니다. 그러나 실제 응용에서는 다양한 조명 조건이나 악천후로 인한 시각적 손상과 같은 분포 외 테스트 데이터의 견고성이 문제가 됩니다. 최근 연구에 따르면 이러한 데이터 손실은 사전 훈련된 모델의 성능에 심각한 영향을 미칠 수 있습니다. 중요한 것은 테스트 데이터의 손상(분포)을 알 수 없는 경우가 많으며 배포 전에는 예측할 수 없는 경우도 있다는 것입니다.

따라서 추론 단계에서 테스트 데이터 분포에 맞게 사전 훈련된 모델을 조정하는 것은 TTA(테스트 시간 도메인 적응)라는 귀중한 새로운 주제입니다. 이전에는 TTA가 주로 분포 정렬(TTAC++, TTT++), 자가 지도 학습(AdaContrast) 및 자가 학습(Conjugate PL)을 통해 구현되었으며, 이를 통해 다양한 시각적 손상 테스트 데이터가 크게 향상되었습니다.

기존 TTA(테스트 시간 도메인 적응) 방법은 일반적으로 안정적인 클래스 분포, 샘플이 독립적이고 동일하게 분산된 샘플링 및 고정 도메인 오프셋을 따르는 엄격한 테스트 데이터 가정을 기반으로 합니다. 이러한 가정은 많은 연구자들이 CoTTA, NOTE, SAR 및 RoTTA와 같은 실제 테스트 데이터 흐름을 탐색하도록 영감을 주었습니다.

최근 SAR(ICLR 2023) 및 RoTTA(CVPR 2023)와 같은 실제 TTA 연구는 주로 지역 계층 불균형과 TTA로의 지속적인 영역 전환으로 인한 문제에 중점을 둡니다. 로컬 클래스 불균형은 일반적으로 테스트 데이터가 독립적으로 동일하게 분포되어 샘플링되지 않는다는 사실로 인해 발생합니다. 직접적인 무분별한 도메인 적응은 편향된 분포 추정으로 이어집니다.

최근 연구에서는 이 문제를 해결하기 위해 지수 업데이트 배치 정규화 통계(RoTTA) 또는 인스턴스 수준 차별적 업데이트 배치 정규화 통계(NOTE)를 제안했습니다. 연구 목표는 테스트 데이터의 전체 분포가 심각하게 불균형할 수 있고 클래스 분포도 시간이 지남에 따라 변경될 수 있다는 점을 고려하여 로컬 클래스 불균형 문제를 극복하는 것입니다. 보다 어려운 시나리오의 다이어그램은 아래 그림 1에서 볼 수 있습니다.

AAAI 2024 | 测试时领域适应的鲁棒性得以保证,TRIBE在多真实场景下达到SOTA

추론 단계 이전에는 테스트 데이터 내 클래스 출현도를 알 수 없고, 블라인드 테스트 시간 조정을 통해 모델이 다수 클래스 쪽으로 편향될 수 있으므로 기존 TTA 방법은 효과적이지 않습니다. 경험적 관찰에 따르면 이 문제는 정규화 계층(BN, PL, TENT, CoTTA 등) 업데이트를 위한 전역 통계를 추정하기 위해 현재 데이터 배치에 의존하는 방법에서 특히 두드러집니다.

이는 주로 다음과 같은 이유로 인해 발생합니다.
1. 현재 데이터 배치는 로컬 클래스 불균형의 영향을 받아 편향된 전체 분포 추정이 발생합니다.
2. 단일 전역 분포가 없으면 전역 분포가 쉽게 다수 클래스로 편향되어 내부 공변량 이동이 발생할 수 있습니다.

편향된 배치 정규화(BN)를 방지하기 위해 팀에서는 각 개별 범주의 분포를 모델링하고 클래스 분포에서 전역 분포를 추출하는 균형 잡힌 배치 정규화 계층(Balanced Batch Normalization Layer)을 제안했습니다. 균형 배치 정규화 계층을 사용하면 로컬 및 전역 클래스 불균형 테스트 데이터 스트림에서 클래스 균형 분포 추정치를 얻을 수 있습니다.

조명/날씨 조건의 점진적인 변화와 같이 시간이 지남에 따라 실제 테스트 데이터에서 도메인 이동이 자주 발생합니다. 이는 도메인 A에 대한 과적합으로 인해 도메인 A에서 도메인 B로 전환할 때 TTA 모델이 일관성이 없게 될 수 있는 기존 TTA 방법에 또 다른 과제를 안겨줍니다.

특정 단기 도메인에 대한 과잉 적응을 완화하기 위해 CoTTA는 매개변수를 무작위로 복원하고, EATA는 피셔 정보를 사용하여 매개변수를 정규화합니다. 그럼에도 불구하고 이러한 방법은 여전히 ​​테스트 데이터 분야에서 새로운 과제를 명시적으로 해결하지 못합니다.

이 기사에서는 2개 분기 자체 학습 아키텍처를 기반으로 3네트워크 자체 학습 모델(Tri-Net Self-Training)을 형성하기 위한 앵커 네트워크(Anchor Network)를 소개합니다. 앵커 네트워크는 동결된 소스 모델이지만 테스트 샘플을 통해 배치 정규화 계층의 매개변수 대신 통계 튜닝을 허용합니다. 그리고 앵커 네트워크의 출력을 사용하여 교사 모델의 출력을 정규화하여 네트워크가 로컬 분포에 과도하게 적응하는 것을 방지하는 앵커링 손실이 제안되었습니다.

최종 모델은 3-net self-training 모델과 균형 배치 정규화 계층(TRI-net self-training with BalanceEd Normalization, TRIBE)을 결합하여 더 넓은 범위의 조정 가능한 학습률에서 일관되게 우수한 성능을 보여줍니다. 4개의 데이터 세트와 여러 실제 데이터 스트림에서 상당한 성능 향상을 보여주며 고유한 안정성과 견고성을 보여줍니다.

방법 소개

종이 방법은 세 부분으로 나뉩니다.
  • 실제 TTA 프로토콜 소개
  • 균형 배치 정규화;
  • 3개의 네트워크 자동 모델을 학습시킵니다.

TTA 프로토콜 in the real world

저자는 현실 세계의 로컬 클래스 불균형과 글로벌 클래스 불균형으로 데이터 흐름을 테스트하기 위해 수학적 확률 모델을 채택했으며, Domain 시간에 따른 분포를 모델링했습니다. 아래 그림 2와 같습니다.

AAAI 2024 | 测试时领域适应的鲁棒性得以保证,TRIBE在多真实场景下达到SOTA

균형 배치 정규화

BN 통계에 대한 불균형 테스트 데이터에 의해 생성된 추정된 편향을 수정하기 위해 저자는 각 BN 통계에 대한 균형 배치 정규화 레이어를 제안합니다. 의미 클래스는 한 쌍의 통계를 유지합니다.

AAAI 2024 | 测试时领域适应的鲁棒性得以保证,TRIBE在多真实场景下达到SOTA범주 통계를 업데이트하기 위해 저자는 아래와 같이 의사 레이블 예측을 사용하여 효율적인 반복 업데이트 방법을 적용합니다.


각 데이터 카테고리의 샘플링 포인트는 의사 라벨을 통해 별도로 계산되며, 카테고리 균형에 따른 전체 분포 통계는 다음 공식을 통해 다시 얻어지며, 학습된 특징 공간을 카테고리 균형 소스 데이터와 정렬합니다. . AAAI 2024 | 测试时领域适应的鲁棒性得以保证,TRIBE在多真实场景下达到SOTA
일부 특별한 경우에 저자는 카테고리 수가 많거나AAAI 2024 | 测试时领域适应的鲁棒性得以保证,TRIBE在多真实场景下达到SOTA 의사 라벨 정확도가 낮은 경우(정확도

AAAI 2024 | 测试时领域适应的鲁棒性得以保证,TRIBE在多真实场景下达到SOTA

추가 분석 및 관찰을 통해 저자는 γ=1일 때 전체 업데이트가 RoTTA로 변질되는 전략 γ=0일 때 RobustBN의 업데이트 전략은 순전히 카테고리 독립적인 업데이트 전략입니다. 따라서 γ가 0~1의 값을 취하면 다양한 상황에 적용할 수 있습니다.

Three-network self-training model

저자는 기존 학생-교사 모델을 기반으로 앵커링 네트워크 분기를 추가하고 앵커링 손실을 도입하여 교사 네트워크의 예측 분포를 제한했습니다. 이 디자인은 TTAC++에서 영감을 받았습니다. TTAC++는 테스트 데이터 스트림에 대한 자체 학습에만 의존하면 쉽게 확인 편향이 축적될 수 있다고 지적합니다. 이 문제는 이 기사의 실제 테스트 데이터 스트림에서 더 심각합니다. TTAC++는 원본 도메인에서 수집된 통계 정보를 사용하여 도메인 정렬 정규화를 구현하지만 Fully TTA 설정의 경우 이 원본 도메인 정보를 수집할 수 없습니다.

동시에 저자는 또 다른 계시를 얻었습니다. 감독되지 않은 도메인 정렬의 성공은 두 도메인 분포가 상대적으로 높다는 가정에 기초합니다. 따라서 저자는 교사 모델의 예측 분포가 소스 모델의 예측 분포에서 너무 멀리 벗어나는 것을 피하기 위해 교사 모델을 정규화하기 위해 BN 통계의 동결된 소스 도메인 모델만 조정했습니다(이로 인해 이전의 높은 일치율 경험이 파괴되었습니다). 두 분포 사이) 관찰). 수많은 실험을 통해 이 기사의 발견과 혁신이 정확하고 강력하다는 것이 입증되었습니다. 앵커링 손실의 표현은 다음과 같습니다.

AAAI 2024 | 测试时领域适应的鲁棒性得以保证,TRIBE在多真实场景下达到SOTA

다음 그림은 TRIBE 네트워크의 프레임 다이어그램을 보여줍니다.

AAAI 2024 | 测试时领域适应的鲁棒性得以保证,TRIBE在多真实场景下达到SOTA

실험 부분

논문의 저자는 4개의 데이터를 사용했습니다. TRIBE로 설정된 두 가지 실제 TTA 프로토콜을 벤치마크로 사용하여 검증되었습니다. 두 가지 실제 TTA 프로토콜은 전역 클래스 분포가 고정된 GLI-TTA-F와 전역 클래스 분포가 고정되지 않은 GLI-TTA-V입니다.

AAAI 2024 | 测试时领域适应的鲁棒性得以保证,TRIBE在多真实场景下达到SOTA

위 표는 서로 다른 불균형 계수 하에서 CIFAR10-C 데이터 세트의 두 프로토콜의 성능을 보여줍니다.

1 LAME, TTAC, NOTE, RoTTA 및 TRIBE만 제안되었습니다. 이 논문은 TEST의 기준선을 초과하여 실제 테스트 흐름에서 보다 강력한 TTA 방법의 필요성을 보여줍니다.

2. 글로벌 클래스 불균형은 기존 TTA 방식에 큰 도전을 가져왔습니다. 예를 들어 이전 SOTA 방식인 RoTTA는 I.F.=1일 때 25.20%의 오류율을 보였지만 I.F.=일 때 25.20%로 오류율이 증가했습니다. 200. 32.45%에 비해 TRIBE는 상대적으로 좋은 성능을 안정적으로 보여줄 수 있다.

3. TRIBE의 일관성은 이전의 모든 방법을 능가하는 절대적인 이점을 가지고 있으며, 글로벌 클래스 밸런스(I.F.=1) 설정에서 이전 SOTA(TTAC)를 약 7% 능가합니다. 어려움 글로벌 클래스 불균형(I.F.=200) 설정에서 약 13%의 성능 향상을 달성했습니다.

4. I.F.=10에서 I.F.=200까지, 다른 TTA 방법은 불균형 정도가 증가함에 따라 성능이 저하되는 경향을 나타냅니다. TRIBE는 비교적 안정적인 성능을 유지할 수 있습니다. 이는 심각한 클래스 불균형과 앵커링 손실을 더 잘 설명하는 균형 잡힌 배치 정규화 계층을 도입하여 다양한 도메인에 걸쳐 과도한 적응을 방지하기 때문입니다.
더 많은 데이터 세트 결과를 보려면 원본 논문을 참조하세요.

또한 표 4는 다음과 같은 관찰 결론과 함께 자세한 모듈식 절제를 보여줍니다.

AAAI 2024 | 测试时领域适应的鲁棒性得以保证,TRIBE在多真实场景下达到SOTA

1 모델 매개변수를 업데이트하지 않고 BN을 균형 잡힌 배치 정규화 계층(균형 BN)으로만 대체합니다. Forward를 통해 BN 통계를 업데이트하는 것만으로 10.24%(44.62 -> 34.28)의 성능 향상을 가져올 수 있으며 Robust BN의 오류율 41.97%를 능가합니다.

2. 이전 BN 구조이든 최신 Balanced BN 구조이든 Self-Training과 결합된 Anchored Loss는 성능이 향상되었으며 EMA 모델의 정규화 효과를 능가했습니다.
이 기사의 나머지 부분과 9페이지 분량의 부록에서는 마침내 17개의 상세한 표 결과를 제시하여 다차원에서 TRIBE의 안정성, 견고성 및 우수성을 보여줍니다. 부록에는 균형 배치 정규화 계층에 대한 보다 자세한 이론적 도출 및 설명도 포함되어 있습니다.

요약 및 전망

Non-i.i.d. 테스트 데이터 흐름, 글로벌 클래스 불균형 및 지속적인 도메인 이전과 같은 많은 실제 문제를 해결하기 위해 연구팀은 어떻게 시간 영역 적응 알고리즘의 테스트 견고성을 향상시킵니다. 저자는 불균형 테스트 데이터에 적응하기 위해 편견 없는 통계 추정을 달성하기 위해 Balanced Batchnorm Layer를 제안하고 표준화를 위해 학생 네트워크, 교사 네트워크 및 앵커 네트워크를 포함하는 네트워크를 제안했습니다. 자가 훈련을 기반으로 한 TTA.

하지만 이 글은 여전히 ​​부족함과 개선의 여지가 있습니다. 많은 실험과 출발점이 분류 작업과 BN 모듈을 기반으로 하기 때문에 다른 작업과 Transformer 기반 모델에 대한 적응 정도는 아직 알 수 없습니다. 이러한 문제는 후속 작업에서 추가 연구와 탐구가 필요합니다.

위 내용은 TRIBE는 도메인 적응 견고성을 달성하고 여러 실제 시나리오에서 SOTA의 AAAII 2024에 도달합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

RLHF에서 DPO, TDPO까지 대규모 모델 정렬 알고리즘은 이미 '토큰 수준'입니다. RLHF에서 DPO, TDPO까지 대규모 모델 정렬 알고리즘은 이미 '토큰 수준'입니다. Jun 24, 2024 pm 03:04 PM

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com 인공 지능 개발 과정에서 LLM(대형 언어 모델)의 제어 및 안내는 항상 핵심 과제 중 하나였으며 이러한 모델이 두 가지 모두를 보장하는 것을 목표로 했습니다. 강력하고 안전하게 인간 사회에 봉사합니다. 인간 피드백(RL)을 통한 강화 학습 방법에 초점을 맞춘 초기 노력

ControlNet의 저자가 또 다른 히트를 쳤습니다! 이틀 만에 14,000개의 별을 획득하여 그림에서 그림을 생성하는 전체 과정 ControlNet의 저자가 또 다른 히트를 쳤습니다! 이틀 만에 14,000개의 별을 획득하여 그림에서 그림을 생성하는 전체 과정 Jul 17, 2024 am 01:56 AM

역시 Tusheng 영상이지만 PaintsUndo는 다른 경로를 택했습니다. ControlNet 작성자 LvminZhang이 다시 살기 시작했습니다! 이번에는 회화 분야를 목표로 삼고 있습니다. 새로운 프로젝트인 PaintsUndo는 출시된 지 얼마 되지 않아 1.4kstar(여전히 상승세)를 받았습니다. 프로젝트 주소: https://github.com/lllyasviel/Paints-UNDO 이 프로젝트를 통해 사용자는 정적 이미지를 입력하고 PaintsUndo는 자동으로 라인 초안부터 완성품 따라가기까지 전체 페인팅 과정의 비디오를 생성하도록 도와줍니다. . 그리는 과정에서 선의 변화가 놀랍습니다. 최종 영상 결과는 원본 이미지와 매우 유사합니다. 완성된 그림을 살펴보겠습니다.

OpenAI Super Alignment Team의 사후 작업: 두 개의 대형 모델이 게임을 하고 출력이 더 이해하기 쉬워졌습니다. OpenAI Super Alignment Team의 사후 작업: 두 개의 대형 모델이 게임을 하고 출력이 더 이해하기 쉬워졌습니다. Jul 19, 2024 am 01:29 AM

AI 모델이 내놓은 답변이 전혀 이해하기 어렵다면 감히 사용해 보시겠습니까? 기계 학습 시스템이 더 중요한 영역에서 사용됨에 따라 우리가 그 결과를 신뢰할 수 있는 이유와 신뢰할 수 없는 경우를 보여주는 것이 점점 더 중요해지고 있습니다. 복잡한 시스템의 출력에 대한 신뢰를 얻는 한 가지 가능한 방법은 시스템이 인간이나 다른 신뢰할 수 있는 시스템이 읽을 수 있는 출력 해석을 생성하도록 요구하는 것입니다. 즉, 가능한 오류가 발생할 수 있는 지점까지 완전히 이해할 수 있습니다. 설립하다. 예를 들어, 사법 시스템에 대한 신뢰를 구축하기 위해 우리는 법원이 자신의 결정을 설명하고 뒷받침하는 명확하고 읽기 쉬운 서면 의견을 제공하도록 요구합니다. 대규모 언어 모델의 경우 유사한 접근 방식을 채택할 수도 있습니다. 그러나 이 접근 방식을 사용할 때는 언어 모델이 다음을 생성하는지 확인하세요.

오픈 소스 AI 소프트웨어 엔지니어 목록의 1위인 UIUC의 에이전트 없는 솔루션은 SWE 벤치의 실제 프로그래밍 문제를 쉽게 해결합니다. 오픈 소스 AI 소프트웨어 엔지니어 목록의 1위인 UIUC의 에이전트 없는 솔루션은 SWE 벤치의 실제 프로그래밍 문제를 쉽게 해결합니다. Jul 17, 2024 pm 10:02 PM

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com 이 논문의 저자는 모두 일리노이 대학교 Urbana-Champaign(UIUC)의 Zhang Lingming 교사 팀 출신입니다. Steven Code Repair, 박사 4년차, 연구원

리만 가설의 중요한 돌파구! 타오저쉬안(Tao Zhexuan)은 MIT와 옥스퍼드의 새로운 논문을 적극 추천했으며, 37세의 필즈상 수상자도 참여했다. 리만 가설의 중요한 돌파구! 타오저쉬안(Tao Zhexuan)은 MIT와 옥스퍼드의 새로운 논문을 적극 추천했으며, 37세의 필즈상 수상자도 참여했다. Aug 05, 2024 pm 03:32 PM

최근 새천년 7대 과제 중 하나로 알려진 리만 가설이 새로운 돌파구를 마련했다. 리만 가설은 소수 분포의 정확한 특성과 관련된 수학에서 매우 중요한 미해결 문제입니다(소수는 1과 자기 자신으로만 나눌 수 있는 숫자이며 정수 이론에서 근본적인 역할을 합니다). 오늘날의 수학 문헌에는 리만 가설(또는 일반화된 형식)의 확립에 기초한 수학적 명제가 천 개가 넘습니다. 즉, 리만 가설과 그 일반화된 형식이 입증되면 천 개가 넘는 명제가 정리로 확립되어 수학 분야에 지대한 영향을 미칠 것이며, 리만 가설이 틀린 것으로 입증된다면, 이러한 제안의 일부도 그 효과를 잃을 것입니다. MIT 수학 교수 Larry Guth와 Oxford University의 새로운 돌파구

무제한 비디오 생성, 계획 및 의사결정, 다음 토큰 예측의 확산 강제 통합 및 전체 시퀀스 확산 무제한 비디오 생성, 계획 및 의사결정, 다음 토큰 예측의 확산 강제 통합 및 전체 시퀀스 확산 Jul 23, 2024 pm 02:05 PM

현재 차세대 토큰 예측 패러다임을 사용하는 자동회귀 대규모 언어 모델은 전 세계적으로 인기를 얻고 있으며 동시에 인터넷의 수많은 합성 이미지와 비디오는 이미 확산 모델의 힘을 보여주었습니다. 최근 MITCSAIL 연구팀(그 중 한 명은 MIT 박사 과정 학생인 Chen Boyyuan)이 전체 시퀀스 확산 모델과 차세대 토큰 모델의 강력한 기능을 성공적으로 통합하고 훈련 및 샘플링 패러다임인 확산 강제(DF)를 제안했습니다. ). 논문 제목: DiffusionForcing:Next-tokenPredictionMeetsFull-SequenceDiffusion 논문 주소: https:/

arXiv 논문은 '연발'로 게시될 수 있습니다. Stanford alphaXiv 토론 플랫폼은 온라인이며 LeCun은 이를 좋아합니다. arXiv 논문은 '연발'로 게시될 수 있습니다. Stanford alphaXiv 토론 플랫폼은 온라인이며 LeCun은 이를 좋아합니다. Aug 01, 2024 pm 05:18 PM

건배! 종이 토론이 말로만 진행된다면 어떤가요? 최근 스탠포드 대학교 학생들은 arXiv 논문에 대한 질문과 의견을 직접 게시할 수 있는 arXiv 논문에 대한 공개 토론 포럼인 alphaXiv를 만들었습니다. 웹사이트 링크: https://alphaxiv.org/ 실제로 이 웹사이트를 특별히 방문할 필요는 없습니다. URL에서 arXiv를 alphaXiv로 변경하면 alphaXiv 포럼에서 해당 논문을 바로 열 수 있습니다. 논문, 문장: 오른쪽 토론 영역에서 사용자는 저자에게 논문의 아이디어와 세부 사항에 대해 질문하는 질문을 게시할 수 있습니다. 예를 들어 다음과 같이 논문 내용에 대해 의견을 제시할 수도 있습니다.

Axiom 교육을 통해 LLM은 인과 추론을 학습할 수 있습니다. 6,700만 개의 매개변수 모델은 1조 매개변수 수준 GPT-4와 비슷합니다. Axiom 교육을 통해 LLM은 인과 추론을 학습할 수 있습니다. 6,700만 개의 매개변수 모델은 1조 매개변수 수준 GPT-4와 비슷합니다. Jul 17, 2024 am 10:14 AM

LLM에 인과관계 사슬을 보여주면 공리를 학습합니다. AI는 이미 수학자 및 과학자의 연구 수행을 돕고 있습니다. 예를 들어, 유명한 수학자 Terence Tao는 GPT와 같은 AI 도구의 도움을 받아 자신의 연구 및 탐색 경험을 반복적으로 공유했습니다. AI가 이러한 분야에서 경쟁하려면 강력하고 신뢰할 수 있는 인과관계 추론 능력이 필수적입니다. 본 논문에서 소개할 연구에서는 작은 그래프의 인과 전이성 공리 시연을 위해 훈련된 Transformer 모델이 큰 그래프의 전이 공리로 일반화될 수 있음을 발견했습니다. 즉, Transformer가 단순한 인과 추론을 수행하는 방법을 학습하면 보다 복잡한 인과 추론에 사용될 수 있습니다. 팀이 제안하는 공리적 훈련 프레임워크는 시연만으로 패시브 데이터를 기반으로 인과 추론을 학습하는 새로운 패러다임입니다.

See all articles