주의가 필요 없는 사전 학습, GPT를 통한 상황별 학습-일체 포함-php.cn

논문 1: ClimateNeRF: 극한 기후 합성을 위한 물리적 기반 신경 렌더링

저자: Yuan Li et al
논문 주소: https://arxiv.org/pdf/2211.13226 .pdf

요약: 이 문서에서는 장면의 NeRF 모델과 물리적 시뮬레이션을 융합하여 이러한 장면의 물리적 현상에 대한 사실적인 영화를 생성하는 새로운 방법을 소개합니다. 구체적인 결과를 보면, 이 방법은 기후 변화로 인해 발생할 수 있는 영향을 현실적으로 시뮬레이션할 수 있습니다. 소규모 홍수 이후 놀이터는 어떤 모습일까요? 대홍수 이후에는 어떻습니까? 눈보라가 지나간 후에는 어떻습니까?

주의가 필요 없는 사전 학습, GPT를 통한 상황별 학습

추천: 안개가 자욱하고, 겨울이고, 1초 만에 물에 잠기는 새로운 NeRF 모델은 사실적인 물리적 블록버스터를 렌더링합니다.

문서 2: 주의 없이 사전 훈련

저자: Junxiong Wang 외
논문 주소: https://arxiv.org/pdf/2212.10544.pdf

요약: 본 논문에서는 SSM(State Space Model) 기반 라우팅 레이어와 곱셈 게이트 기반 모델 아키텍처를 결합하여 BERT 사전 학습 결과를 사용하지 않고 복제하는 BiDirectional Gated SSM(BiGS) 모델을 제안합니다. 근사할 필요 없이 4096개 토큰의 장거리 사전 훈련으로 확장될 수 있습니다.

주의가 필요 없는 사전 학습, GPT를 통한 상황별 학습

권장 사항: 사전 교육에는 주의가 필요하지 않으며 BERT와 마찬가지로 4096개 토큰으로 확장하는 것도 문제가 되지 않습니다.

문서 3: 모두 편집할 수 있는 단일 모델: 의미론적 변조를 사용한 자유 형식 텍스트 기반 이미지 조작

저자: Yiming Zhu 외
논문 주소: https: / /arxiv.org/pdf/2210.07883.pdf

요약: 최근 텍스트를 사용하여 이미지 편집을 안내하는 것은 특히 StableDiffusion 또는 DALLE와 같은 노이즈 제거 확산 모델을 기반으로 큰 진전과 관심을 얻었습니다. 그러나 GAN 기반 텍스트 이미지 편집에는 아직 해결되지 않은 몇 가지 문제가 있습니다. 예를 들어 기존 StyleCILP에서는 각 텍스트에 대해 모델을 학습해야 합니다. 이러한 단일 텍스트 대 단일 모델 접근 방식은 실제로 불편합니다. 응용 프로그램.

이 기사에서는 FFCLIP을 제안하고 이 문제를 해결합니다. 유연한 다양한 텍스트 입력을 위해 FFCLIP은 각 텍스트에 대해 모델을 재교육할 필요 없이 그에 따라 이미지를 편집하기 위해 하나의 모델만 필요하며 모두 매우 훌륭하게 달성되었습니다. 결과. 이 기사는 NeurIPS 2022에 승인되었습니다.

추천: 텍스트 및 그림 편집을 위한 새로운 패러다임인 단일 모델은 다중 텍스트 안내 이미지 편집을 실현합니다.

문서 4: SELF-INSTRUCT: 자체 생성 지침에 맞게 언어 모델 정렬

저자: Yizhong Wang 외
논문 주소: https://arxiv.org/pdf / 2212.10560v1.pdf

요약: 워싱턴 대학과 기타 기관은 최근 공동으로 논문을 발표하여 모델의 언어 모델을 안내하여 사전 훈련된 언어 모델의 명령 준수를 향상시키는 새로운 프레임워크 SELF-INSTRUCT를 제안했습니다. 자신의 세대 능력. SELF-INSTRUCT는 모델 자체의 명령 신호를 사용하여 사전 훈련된 LM에서 명령 튜닝을 수행하는 반자동 프로세스입니다.

권장 사항: 수동 주석이 필요 없으며 자체 생성된 지침 프레임워크가 ChatGPT와 같은 LLM의 비용 병목 현상을 해결합니다. I 논문 5: 신경망을 통한 실제 고체의 AB Initio 계산 Ansatz

저자: xiang Li 외

논문 주소: https://www.nature.com/articles /s41467-022-35627-1
요약:

최근 ByteDance AI Lab 연구팀과 베이징 대학교 물리학과 Chen Ji 연구 그룹의 "신경망 ansatz를 통한 실제 고체의 기본 계산" 작업은 응집 물질 물리학 연구에 새로운 아이디어를 제공했습니다. 제안된 작업은 업계 최초로 고체계에 적합한 신경망 파동함수를 개발하고, 고체의 제1원리 계산을 실현하고, 계산 결과를 열역학적 한계까지 끌어올렸습니다. 이는 신경망이 고체 물리학을 연구하는 데 효율적인 도구라는 점을 강력히 입증하고, 응집 물질 물리학에서 딥 러닝 기술이 점점 더 중요한 역할을 하게 될 것임을 나타냅니다. 관련 연구 결과는 국제 최고 학술지 네이처 커뮤니케이션(Nature Communication) 2022년 12월 22일자에 게재됐다.

추천: 업계 최초로 고체 시스템에 적합한 신경망 파동 함수가 Nature 하위 저널에 게재되었습니다.

문서 6: GPT가 상황에 맞게 학습할 수 있는 이유는 언어 모델이 메타 최적화자로 비밀리에 경사하강법을 수행할 수 있기 때문입니다.

저자: Damai Dai 외

논문 주소: https: / /arxiv.org/pdf/2212.10559v2.pdf
요약:

추천: GPT를 기반으로 하는 상황 내 학습이 작동하는 이유는 무엇인가요? 모델은 경사하강법을 비밀리에 수행합니다.

논문 7: 비고전적 뇌 기능의 실험적 표시

저자: Christian Matthias Kerskens et al

논문 주소: https://iopscience.iop.org/article / 10.1088/2399-6528/ac94be
요약:

더블린 트리니티 대학교의 최근 연구에서는 의식과 관련된 뇌 기능에 의해 중재되는 인간의 뇌에 얽힘이 있다고 주장하면서 우리의 뇌가 양자 계산을 수행한다고 제안합니다. 이러한 뇌 기능이 비고전적인 방식으로 작동해야 한다면 이는 의식이 비고전적이라는 것을 의미합니다. 즉, 뇌의 인지 과정에는 양자 계산이 포함됩니다.

추천: 뇌의 사고는 양자 컴퓨팅이며, 이 추측에 대한 새로운 증거가 있습니다.

ArXiv 주간 라디오 방송국

Heart of the Machine은 Chu Hang과 Luo Ruotian이 시작한 ArXiv Weekly Radiostation과 협력하여 NLP, CV, ML 분야에서 선정된 10편의 논문을 포함한 7편의 논문을 바탕으로 이번 주에 더 중요한 논문을 선정하고 오디오를 제공합니다. 형식 논문 요약, 세부 사항은 다음과 같습니다:

10 NLP PapersAudio: 00:0020:18

10개의 NLP 특집 이번 주 논문 예:

1. 비지도 문법 유도에 픽셀이 필요한가요?(Serge Belongie, Kilian Q. Weinberger, Jitendra Malik, Trevor Darrell)

2. 측정 및 제로 샷 디바이어스(Bernhard Schölkopf 제공)

3. 이미지를 통한 모호성 해결: 향상된 다중 모드 기계 번역 및 대조 평가(Cordelia Schmid, Ivan Laptev 제공)

4. 비전을 위한 정규화 - 언어 관계 정렬(Ruslan Salakhutdinov, Louis-Philippe Morency)

5. 번역 품질 추정을 위한 병렬 데이터 사용에 관한 내용(Dacheng Tao)

6. 오류 분석을 통한 인간과 같은 평가를 향하여(from Dacheng Tao)

7. 현재의 작업 중심 대화 모델이 실제 상황을 자동화할 수 있습니까?(조경현에서). 8. 텍스트 생성을 위한 모델 기반 평가 지표의 사각지대에 대하여(조경현 작성)

9. 대조 학습을 넘어서: 다국어 검색을 위한 변형 생성 모델(William W. Cohen 작성)

10. 퓨샷 추론을 위한 상황 내 학습에 대한 상징적 표현의 영향(Li Erran Li, Eric Xing에서)

10 CV Papers