7월 가장 인기 있는 AI 연구 목록이 발표되었으며, Ma Yi의 최신 '표준 모델'이 9위에 올랐습니다.

7월에 가장 인기 있었던 AI 연구 목록이 나왔습니다!

Reddit 사용자 @bycloudai가 편집한 이 목록은 Twitter 좋아요, 리트윗 및 DeepMind, Google, MIT CSAIL 및 기타 잘 알려진 메커니즘을 포함한 Github 스타를 기준으로 2022년 7월 상위 10대 AI 연구 중 하나로 선정되었습니다.

목록에 있는 유명 인사들을 살펴보겠습니다~

TOP1: Formal Algorithms for Transformers

저자: Mary Phuong, Marcus Hutter

조직: DeepMind

요약: 이 글의 목적 Transformer 아키텍처 및 알고리즘에 대한 독립적이고 수학적으로 정확한 개요를 살펴보기 전에. Transformer가 무엇인지, 훈련 방법, 용도, 주요 아키텍처 구성 요소 및 가장 눈에 띄는 모델의 미리보기를 다룹니다.

Top2: 자신감 있는 적응형 언어 모델링

저자: Tal Schuster, Adam Fisch, Jai Gupta, Mostafa Dehghani, Dara Bahri, Vinh Q Tran, Yi Tay, Donald Metzler

기관: Google, MIT CSAIL

Abstract : 최근 Transformer 기반 LLM(대형 언어 모델)의 발전으로 인해 많은 작업에서 성능이 크게 향상되었습니다. 그러나 성능이 향상되는 동시에 모델 크기도 크게 증가하여 추론 프로세스가 복잡해지고 비용이 증가할 수 있습니다. 그러나 실제로 대규모 언어 모델은 다양한 난이도로 구성된 일련의 반복을 생성합니다.

이 작업에서는 다양한 양의 컴퓨터 입력 및 생성 기간을 동적으로 할당하는 프레임워크인 CALM(Confidential Adaptive Language Modeling)을 소개합니다.

조기 종료 디코딩에는 다음과 같은 몇 가지 문제가 포함됩니다. (1) 사용할 신뢰도 측정법, (2) 로컬 토큰에 대한 종료 결정에 시퀀스 수준 제약 조건 연결, (3) 이전 토큰의 진행으로 인한 역추적; 종료 시 표현이 손실됩니다. 세 가지 다른 텍스트 생성 작업에 대한 이론적 분석과 실험을 통해 우리는 계산을 줄이는 프레임워크의 효율성을 입증합니다. 즉, 고성능을 유지하면서 최대 3배까지 속도를 높일 수 있습니다.

Top3: 언어 모델은 (대부분) 자신이 아는 것을 알고 있습니다.

저자: Saurav Kadavath, Tom Conerly, Amanda Askell, Tom Henighan 등

기관: Anthropic

요약: 이 논문은 언어 모델이 다음을 수행할 수 있는지 여부를 연구합니다. 주장의 타당성을 스스로 평가하고 어떤 질문에 올바르게 대답할 수 있을지 예측합니다. 먼저 더 큰 모델이 올바른 형식으로 제공되면 다양한 객관식 및 참/거짓 질문에 맞게 조정된다는 것을 보여줍니다. 따라서 모델에 먼저 답변을 제안한 다음 답변이 정확할 확률 P(True)를 평가하도록 요청하여 공개 샘플링 작업을 자체 평가할 수 있습니다.

P(True)의 성능, 보정 및 확장은 다양한 작업에 걸쳐 흥미진진합니다. 특정 가능성의 타당성을 예측하기 전에 모델이 자체 샘플을 많이 고려하도록 허용하면 자체 평가 성능이 더욱 향상됩니다. 다음으로, 특정 제안 답변을 참조하지 않고 "질문에 대한 답변을 알고 있습니다"라는 확률인 P(IK)를 예측하도록 모델을 훈련할 수 있는지 조사합니다.

Top4: YOLOv7: 훈련 가능한 공짜 가방이 실시간 물체 감지기에 대한 새로운 최첨단 기술을 설정합니다

저자: Chien-Yao Wang, Alexey Bochkovskiy, Hong-Yuan Mark Liao

기관: Institute of Information Science, Academia Sinica

Top5: 언어 모델 Cascades

저자: David Dohan, Winnie Xu, Aitor Lewkowycz 등

기관: Google

Top6: AnimeCharacter 시트를 사용한 협업 신경 렌더링

작성자 : Zuzeng Lin, Ailin Huang, Zhewei Huang 등

기관: 무한 대학교, Megvii Technology

Top7: 신경망 및 촘스키 계층 구조

저자: Grégoire Delétang, Anian Ruoss, Jordi Grau-Moya, Tim 진바인 등

기관: DeepMind

Top8: 픽셀을 사용한 언어 모델링​

저자: Phillip Rust, Jonas F. Lotz, Emanuele Bugliarello 등

기관: University of Copenhagen, Johns Hopkins University, Uppsala University

Top9: 지능의 출현을 위한 절약과 자기 일관성의 원칙

저자: Ma Yi, Cao Ying, Shen Xiangyang

기관: University of California, Berkeley, Guangdong-Hong Kong-Macao Greater Bay Area 디지털 경제 연구소

이 논문은 Ma Yi 교수, 컴퓨터 과학자 Shen Xiangyang 박사, 신경 과학자 Cao Ying 교수가 발표한 인공 지능의 출현과 발전에 대한 연구 리뷰의 개요 중 하나라고 할 수 있습니다. 지난 70년 동안 AI가 발전한 과정은 다음과 같습니다.

Top10: 스케일링 법칙 대 모델 아키텍처: 유도 바이어스가 스케일링에 미치는 영향

저자: Yi Tay, Mostafa Dehghani, Samira Abnar

기관: Google, DeepMind

톱 10 전문가의 논문을 읽은 후, 이 목록의 몇 가지 흥미로운 세부 사항에 대해 이야기해 보겠습니다.

우리 모두 알고 있듯이 트위터 좋아요는 로봇에 의해 생성될 수 있습니다. 저자가 목록의 주요 지표로 좋아요 수를 사용한 것은 실제로 의문의 여지가 있습니다.

또한, 이전에 큰 인기를 끌었던 '인피니티 비주얼 세대 모델 NUWA-Infinity'는 트위터 좋아요 수 12위에 그쳤지만 Github 스타 수는 2400개를 넘었습니다.

NUWA 인피니티는 이르면 2021년 11월 첫 번째 버전을 출시한 이후, 이 목록은 그 이후 두 번째 버전의 좋아요 수만 집계해 12위에 그쳤습니다.

위 내용은 7월 가장 인기 있는 AI 연구 목록이 발표되었으며, Ma Yi의 최신 '표준 모델'이 9위에 올랐습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!