CoRL 2022 우수 논문, 언어 모델이 자연에서 발견되지 않는 단백질 생성
목차
- 언어 모델은 천연 단백질 이상을 일반화합니다.
- 생성 단백질 설계를 위한 고급 프로그래밍 언어
- DOC: 자세한 개요를 사용하여 긴 스토리 일관성 향상 트로
- 변환기를 사용한 확장 가능한 확산 모델
- Point-E: 복잡한 프롬프트에서 3D 포인트 클라우드를 생성하는 시스템
- 젊은 후생 유전 정보를 복구하고 시력을 복원하기 위한 재프로그래밍
- 로봇 평가를 위한 로봇 훈련 들: 예제 - 정책 학습을 위한 대화형 보상 기능
- ArXiv Weekly Radiostation: NLP, CV, ML 더 많은 선택된 논문(오디오 포함)
논문 1: 천연 단백질을 넘어 일반화되는 언어 모델
- 저자: Robert Verkuil, Ori Kabeli 등
- 논문 주소: https://www.biorxiv.org/content/10.1101/2022.12.21.521521v1.full.pdf
Abstract: 연구자들은 두 가지 단백질 설계 작업, 즉 특정 구조의 고정 백본 설계와 모델에서 샘플링된 구조의 무제한 생성에 중점을 둡니다. 언어 모델은 시퀀스에 대해서만 훈련되었지만 연구에서는 구조를 설계할 수 있다는 사실을 발견했습니다. 본 연구의 실험 결과에서는 총 228개의 단백질이 생성되었으며, 설계 성공률은 152/228(67%)이었다.
실험적으로 성공한 152개의 디자인 중 35개는 알려진 천연 단백질과 확실한 서열 일치가 없었습니다.
고정 백본 설계의 경우 언어 모델은 실험적으로 평가된 인간이 만든 고정 백본 표적 8개에 대한 단백질 설계를 성공적으로 생성했습니다.
제약되지 않은 생성의 경우 샘플링된 단백질은 다양한 토폴로지와 2차 구조 구성을 포괄하므로 71/129(55%)의 높은 실험 성공률을 얻습니다.
아래 그림 1은 ESM2 모델에 의한 단백질 설계의 전반적인 과정입니다.
Recommendation: 이번 연구에서는 ESM2 언어 모델이 학습을 통해 천연 단백질이 아닌 새로운 단백질을 생성할 수 있음을 발견했습니다. 깊은 문법.
논문 2: 생성 단백질 설계를 위한 고급 프로그래밍 언어
- 저자: Brian Hie, Salvatore Candido 등
- 논문 주소: https://www .biorxiv .org/content/10.1101/2022.12.21.521526v1.full.pdf
Abstract: FAIR 연구원은 모듈성과 프로그래밍 가능성에서 시작하여 두 가지를 더 높은 수준의 추상화, 단백질 설계에 배치합니다. 상위 수준 명령어를 재조립한 다음 생성된 모델에서 명령어를 실행해야 합니다.
단백질 설계 생성을 위해 제안된 프로그래밍 언어를 사용하면 설계자는 직관적이고 모듈식이며 계층화된 절차를 지정할 수 있습니다. 프로그래밍 언어에는 먼저 터미널 기호(즉, 트리의 잎)와 비터미널 기호(즉, 트리의 내부 노드)로 구성된 구문 트리(그림 1A)가 필요합니다. 전자는 고유한 단백질에 해당합니다. 서열(단백질에서 반복될 수 있음), 후자는 계층적 구성을 지원합니다.
또한 에너지 기반 발전 모델이 필요합니다. 첫째, Protein Designer는 계층적으로 구성된 일련의 제약 조건으로 구성된 상위 수준 프로그램을 지정합니다(그림 1A). 그런 다음 프로그램은 임의적이고 미분할 수 없는 제약 조건과의 호환성을 평가하는 데 사용되는 에너지 함수로 컴파일됩니다(그림 1B). 마지막으로 원자 수준 구조 예측(언어 모델 지원)을 에너지 함수에 통합함으로써 수많은 복잡한 단백질 디자인을 생성할 수 있습니다(그림 1C).
Recommended: 복잡한 모듈식 단백질 구조를 프로그래밍 방식으로 생성합니다.
문서 3: DOC: 자세한 개요 제어를 통한 긴 이야기 일관성 향상
- 저자: Kevin Yang, Dan Klein 등
- 논문 주소: https:// /ar xiv .org/pdf/2212.10077.pdf
Abstract: 얼마 전 인간의 글쓰기 과정을 모방한 언어 모델인 Re^3가 출시되었습니다. 이 모델은 미세 조정이 필요하지 않습니다. 대형 모델이지만 강력한 스토리를 디자인하여 일관성을 생성합니다.
이제 연구팀은 스토리 생성을 위한 새로운 모델 DOC를 제안했습니다. 논문의 저자인 Kevin Yang과 Tian Yuandong도 트위터에 DOC 모델을 홍보하기 위해 게시하면서 DOC에서 생성된 스토리는 Re^3에서 생성된 스토리보다 더 일관되고 흥미롭다고 말했습니다.
DOC 프레임워크는 수천 단어로 구성된 긴 스토리를 자동으로 생성할 때 플롯 일관성을 향상시키는 데 사용되는 세부 개요 제어를 의미합니다. DOC는 세부 아웃라이너와 세부 컨트롤러라는 두 가지 보완 구성 요소로 구성됩니다.
상세 아웃라이너는 글쓰기 아이디어를 초안 작성 단계에서 기획 단계까지 이동시키는 상세하고 계층적으로 구조화된 개요를 작성하는 역할을 담당합니다. 세부 컨트롤러는 스토리 단락과 개요 세부 사항의 정렬을 제어하여 생성된 결과가 세부 개요를 따르도록 보장합니다.
이 연구에서는 스토리를 자동으로 생성하는 모델의 능력을 수동으로 평가했으며, DOC는 플롯 일관성(22.5%), 개요 관련성(28.2%), 관심도(20.7%) 등 여러 지표에서 상당한 이득을 얻었습니다. 이는 Re^3 모델보다 훨씬 좋습니다. 또한 DOC는 대화형 빌드 환경에서 제어하기가 더 쉽습니다.
Recommendation: Tian Yuandong 및 기타 독창적인 팀원의 또 다른 새로운 작업: AI는 긴 이야기를 생성하고 수천 단어로 구성된 긴 기사는 일관되고 흥미로울 수 있습니다.
문서 4: 변압기를 사용한 확장 가능한 확산 모델
- 저자: William Peebles , Xie Saining
- 문서 주소: https://arxiv.org/pdf/2212.0 9748.pdf
Abstract: 이 기사에서는 UC Berkeley의 William Peebles와 New York University의 Xie Saining이 "Scalable Diffusion Models with Transformers"를 썼습니다. 목표는 확산 모델에서 아키텍처 선택의 중요성을 밝히고 정보를 제공하는 것입니다. 미래의 생성 모델 연구를 위한 경험 기준. 이 연구는 U-Net 유도 바이어스가 확산 모델의 성능에 중요하지 않으며 변압기와 같은 표준 설계로 쉽게 대체될 수 있음을 보여줍니다.
이 연구는 새로운 종류의 변압기 기반 확산 모델인 확산 변압기(줄여서 DiT)에 중점을 둡니다. DiT는 ViT(Vision Transformers)의 모범 사례를 따르며 몇 가지 작지만 중요한 조정이 이루어졌습니다. DiT는 ResNet과 같은 기존 컨볼루션 네트워크보다 더 효율적으로 확장되는 것으로 나타났습니다.
구체적으로 이 문서에서는 네트워크 복잡성 및 샘플 품질 측면에서 Transformer의 확장 동작을 연구합니다. 이 연구는 확산 모델이 VAE의 잠재 공간 내에서 학습되는 LDM(잠재 확산 모델) 프레임워크에서 DiT 설계 공간을 구축하고 벤치마킹함으로써 U-Net 백본을 변압기로 성공적으로 대체할 수 있음을 보여줍니다. 이 문서에서는 DiT가 확산 모델을 위한 확장 가능한 아키텍처임을 추가로 보여줍니다. 네트워크 복잡성(Gflops로 측정)과 샘플 품질(FID로 측정) 사이에는 강한 상관 관계가 있습니다. 간단히 DiT를 확장하고 대용량 백본(118.6Gflops)으로 LDM을 교육함으로써 클래스 조건부 256 × 256 ImageNet 생성 벤치마크에서 2.27 FID의 최첨단 결과를 얻을 수 있습니다.
Recommendation: 확산 모델을 지배하는 U-Net이 Transformer를 도입하고 DiT를 제안했습니다.
문서 5: Point-E: 복잡한 프롬프트에서 3D 포인트 클라우드 생성을 위한 시스템
- 저자: Alex Nichol, 전희우 외.
- 논문 주소: https :/ /arxiv.org/abs/2212.08751
Abstract: OpenAI의 오픈 소스 3D 모델 생성기 Point-E는 AI계에 새로운 열풍을 일으켰습니다. 오픈 소스 콘텐츠와 함께 출판된 논문에 따르면 Point-E는 단일 Nvidia V100 GPU에서 1~2분 안에 3D 모델을 생성할 수 있습니다. 이에 비해 Google의 DreamFusion과 같은 기존 시스템은 일반적으로 몇 시간과 여러 GPU가 필요합니다.
Point-E는 전통적인 의미의 3D 이미지를 출력하지 않고, 포인트 클라우드 또는 3D 모양을 나타내는 공간의 개별 데이터 포인트 세트를 생성합니다. Point-E의 E는 "효율성"을 의미합니다. 이는 이전 3D 개체 생성 방법보다 빠르다는 의미입니다. 포인트 클라우드는 계산 관점에서 합성하기가 더 쉽지만, 현재 Point-E의 주요 한계인 개체의 세밀한 모양이나 질감을 캡처할 수 없습니다.
이 문제를 해결하기 위해 OpenAI 팀은 Point-E의 포인트 클라우드를 메시로 변환하는 추가 인공 지능 시스템을 훈련했습니다.
Recommended: 3차원 텍스트-이미지 AI는 OpenAI를 통해 1분 이내에 단일 GPU가 출시됩니다.
논문 6: 젊은 후생유전학적 정보를 복구하고 시력을 회복하기 위한 재프로그래밍
- 저자: Yuancheng Lu, Benedikt Brommer
- 논문 주소: https://www.nature.com /articles/s41586-020-2975-4
Abstract: 2020년 12월 2일, 최고의 과학 저널 "Nature"의 표지에 몇 가지 놀라운 단어가 등장했습니다: "Turning Back" Time"(turning Back) 과거).
표지에 대한 연구는 하버드 의과대학 종신 교수인 David Sinclair 팀이 진행했습니다. 기사의 길이는 몇 페이지에 불과하지만 유전자 치료를 사용하여 신경절 세포의 재프로그래밍을 유도하고 젊은 후성 유전 정보를 복원하여 손상된 후 시신경을 재생하고 녹내장과 노화로 인한 시력을 되돌릴 수 있다는 새로운 전망을 보여줍니다. .
David Sinclair는 팀의 연구 목표는 항상 증상보다는 원인을 해결하여 인간의 노화를 늦추고 역전시키며 질병을 치료하는 것이라고 말했습니다.
이 2020년 연구를 바탕으로 David Sinclair 팀은 "REVIVER"라는 연령 역전 기술을 사용하여 인간이 아닌 영장류를 대상으로 테스트하여 쥐와 같은 실명을 치료할 수 있는지 확인하고 있습니다.
David Sinclair와 그가 이끄는 60명으로 구성된 팀의 최신 연구에서는 노화가 CD의 긁힌 자국처럼 지워질 수 있거나 시스템의 소프트웨어가 손상되어 간단히 재설치하면 되돌릴 수 있다고 말했습니다. "수명"이라는 책에서 언급한 바와 같습니다.
예판 논문에서 저자는 모든 생명체는 시간이 지남에 따라 유전 정보를 상실하고 점차적으로 세포 기능을 상실한다고 명시했습니다. 연구자들은 ICE(후성유전체의 유도성 변화용)로 알려진 유전적으로 변형된 마우스 시스템을 사용하여 비돌연변이성 DNA 손상을 복구하는 과정이 노화와 관련된 생리적, 인지적, 분자적 변화(발현 포함)를 가속화한다는 것을 입증했습니다. 유전적 침식, 세포 손실 관찰 능력, 세포 노화 등
연구원들은 이소성 발현을 통한 후성유전적 재프로그래밍이 젊은 유전자 발현 패턴을 복원할 수 있다고 말합니다.
추천: 노화를 역전시키는 연구.
문서 7: 로봇 평가를 위한 로봇 교육: 정책 학습을 위한 예제 기반 대화형 보상 기능
- 저자: Kun Huang, Edward Hu, Dinesh Jayaraman
- 논문 주소: https://openreview.net/pdf?id=sK2aWU7X9b8
Abstract: 종종 물리적 상호작용은 테이블 다리를 당겨서 테이블 다리가 안정적인지 또는 회전하는지 평가하는 등 덜 명확한 정보를 드러내는 데 도움이 됩니다. 물병이 새는지 확인하기 위해 물병을 거꾸로 뒤집는 경우, 연구에서는 로봇이 기술을 수행하려는 시도의 결과를 평가하도록 로봇을 훈련함으로써 이러한 상호 작용 동작을 자동으로 획득할 수 있다고 제안합니다. 이러한 평가는 테이블 다리 조이기 등의 목표 기술을 수행하기 위한 강화 학습 정책을 훈련하는 데 사용되는 IRF(대화형 보상 함수) 역할을 합니다. 또한 IRF는 전체 교육이 완료된 후에도 온라인 작업 실행을 개선하기 위한 검증 메커니즘 역할을 할 수 있습니다. 특정 작업에 대해 IRF 교육은 매우 편리하며 추가 사양이 필요하지 않습니다.
평가 결과에 따르면 IRF는 상당한 성능 향상을 달성할 수 있으며 데모 또는 신중하게 만들어진 보상에 대한 액세스를 통해 기준선을 능가할 수도 있습니다. 예를 들어, 아래 그림에서 로봇은 먼저 문을 닫은 다음 대칭형 문 손잡이를 돌려 문을 완전히 잠가야 합니다.
위 내용은 CoRL 2022 우수 논문, 언어 모델이 자연에서 발견되지 않는 단백질 생성의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
핫 AI 도구
Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱
AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.
Undress AI Tool
무료로 이미지를 벗다
Clothoff.io
AI 옷 제거제
AI Hentai Generator
AI Hentai를 무료로 생성하십시오.
인기 기사
뜨거운 도구
메모장++7.3.1
사용하기 쉬운 무료 코드 편집기
SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.
스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경
드림위버 CS6
시각적 웹 개발 도구
SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)
뜨거운 주제
7461
15
1376
52
77
11
44
19
17
17
Stable Diffusion 3 논문이 드디어 공개되고, 아키텍처의 세부 사항이 공개되어 Sora를 재현하는 데 도움이 될까요?
Mar 06, 2024 pm 05:34 PM
StableDiffusion3의 논문이 드디어 나왔습니다! 이 모델은 2주 전에 출시되었으며 Sora와 동일한 DiT(DiffusionTransformer) 아키텍처를 사용합니다. 출시되자마자 큰 화제를 불러일으켰습니다. 이전 버전과 비교하여 StableDiffusion3에서 생성된 이미지의 품질이 크게 향상되었습니다. 이제 다중 테마 프롬프트를 지원하고 텍스트 쓰기 효과도 향상되었으며 더 이상 잘못된 문자가 표시되지 않습니다. StabilityAI는 StableDiffusion3이 800M에서 8B 범위의 매개변수 크기를 가진 일련의 모델임을 지적했습니다. 이 매개변수 범위는 모델이 많은 휴대용 장치에서 직접 실행될 수 있어 AI 사용이 크게 줄어든다는 것을 의미합니다.
ICCV'23 논문상 'Fighting of Gods'! Meta Divide Everything과 ControlNet이 공동 선정되었는데, 심사위원들을 놀라게 한 기사가 또 있었습니다.
Oct 04, 2023 pm 08:37 PM
프랑스 파리에서 열린 최고의 컴퓨터 비전 컨퍼런스 ICCV2023이 막 끝났습니다! 올해 최우수 논문상은 그야말로 '신들의 싸움'이다. 예를 들어 최우수 논문상을 수상한 두 논문에는 빈센트 그래프 AI 분야를 전복한 작품인 ControlNet이 포함됐다. 오픈 소스 이후 ControlNet은 GitHub에서 24,000개의 별을 받았습니다. 확산 모델이든, 컴퓨터 비전 전체 분야이든, 이 논문의 수상은 당연한 것입니다. 최우수 논문상에 대한 명예로운 언급은 또 다른 유명한 논문인 Meta의 "Separate Everything" "Model SAM에 수여되었습니다. "Segment Everything"은 출시 이후 뒤에서 나온 모델을 포함해 다양한 이미지 분할 AI 모델의 "벤치마크"가 되었습니다.
NeRF와 자율주행의 과거와 현재, 10편에 가까운 논문 요약!
Nov 14, 2023 pm 03:09 PM
Neural Radiance Fields가 2020년에 제안된 이후 관련 논문의 수가 기하급수적으로 늘어났습니다. 이는 3차원 재구성의 중요한 분야가 되었을 뿐만 아니라 자율 주행을 위한 중요한 도구로서 연구 분야에서도 점차 활발해졌습니다. NeRF는 지난 2년 동안 갑자기 등장했습니다. 주로 특징점 추출 및 일치, 에피폴라 기하학 및 삼각측량, PnP 및 번들 조정 및 기존 CV 재구성 파이프라인의 기타 단계를 건너뛰고 메쉬 재구성, 매핑 및 광 추적도 건너뛰기 때문입니다. , 2D에서 직접 입력된 이미지를 이용해 방사선장을 학습한 후, 방사선장에서 실제 사진에 가까운 렌더링 이미지를 출력합니다. 즉, 신경망을 기반으로 한 암시적 3차원 모델을 지정된 관점에 맞추도록 합니다.
확산 모델을 사용하여 종이 일러스트레이션을 자동으로 생성할 수도 있으며 ICLR에서도 허용됩니다.
Jun 27, 2023 pm 05:46 PM
생성형 AI(Generative AI)는 인공 지능 커뮤니티를 휩쓸었습니다. 개인과 기업 모두 Vincent 사진, Vincent 비디오, Vincent 음악 등과 같은 관련 모달 변환 애플리케이션을 만드는 데 열중하기 시작했습니다. 최근 ServiceNow Research, LIVIA 등 과학 연구 기관의 여러 연구자들이 텍스트 설명을 기반으로 논문에서 차트를 생성하려고 시도했습니다. 이를 위해 그들은 FigGen이라는 새로운 방법을 제안했고, 관련 논문도 ICLR2023에 TinyPaper로 포함됐다. 그림 논문 주소: https://arxiv.org/pdf/2306.00800.pdf 어떤 사람들은 '논문에서 차트를 생성하는 데 무엇이 그렇게 어렵나요?'라고 묻습니다. 이것이 과학 연구에 어떻게 도움이 됩니까?
채팅 스크린샷을 통해 AI 리뷰의 숨겨진 규칙을 밝혀보세요! AAAI 3000위안은 강력하게 받아들여집니까?
Apr 12, 2023 am 08:34 AM
AAAI 2023 논문 제출 마감일이 다가오던 무렵, AI 제출 그룹의 익명 채팅 스크린샷이 갑자기 Zhihu에 나타났습니다. 그 중 한 명은 "3000위안 강력한 수락" 서비스를 제공할 수 있다고 주장했습니다. 해당 소식이 알려지자 네티즌들은 곧바로 공분을 샀다. 그러나 아직 서두르지 마십시오. Zhihu 상사 "Fine Tuning"은 이것이 아마도 "언어적 즐거움"일 가능성이 높다고 말했습니다. 『파인튜닝』에 따르면 인사와 갱범죄는 어느 분야에서나 피할 수 없는 문제다. openreview의 등장으로 cmt의 다양한 단점이 점점 더 명확해졌습니다. 앞으로는 작은 서클이 운영할 수 있는 공간은 더 작아지겠지만 항상 여유가 있을 것입니다. 이는 개인적인 문제이지 투고 시스템이나 메커니즘의 문제가 아니기 때문입니다. 오픈R을 소개합니다
CVPR 2023 순위 공개, 합격률 25.78%! 2,360편의 논문이 접수되었고, 제출 건수는 9,155편으로 급증했습니다.
Apr 13, 2023 am 09:37 AM
방금 CVPR 2023에서는 다음과 같은 기사를 발표했습니다. 올해 우리는 기록적인 9,155편의 논문을 접수했으며(CVPR2022보다 12% 더 많음), 2,360편의 논문을 접수했으며 합격률은 25.78%입니다. 통계에 따르면 2010년부터 2016년까지 7년간 CVPR 제출 건수는 1,724건에서 2,145건으로 증가하는 데 그쳤다. 2017년 이후 급등하며 급속한 성장기에 접어들었고, 2019년에는 처음으로 5,000건을 돌파했고, 2022년에는 투고 건수가 8,161건에 이르렀다. 보시다시피 올해 총 9,155편의 논문이 제출되어 역대 최고 기록을 세웠습니다. 전염병이 완화된 후 올해 CVPR 정상회담은 캐나다에서 개최될 예정입니다. 올해는 단일 트랙 컨퍼런스 형식을 채택하고 기존 구술 선발 방식을 폐지한다. 구글 조사
중국팀이 최우수 논문상과 최우수 시스템 논문상을 수상하며 CoRL 연구 결과가 발표됐다.
Nov 10, 2023 pm 02:21 PM
CoRL은 2017년 처음 개최된 이후 로봇공학과 머신러닝이 교차하는 분야에서 세계 최고의 학술 컨퍼런스 중 하나로 자리매김했습니다. CoRL은 이론과 응용을 포함하여 로봇공학, 기계학습, 제어 등 다양한 주제를 다루는 로봇학습 연구를 위한 단일 주제 컨퍼런스입니다. 2023 CoRL 컨퍼런스는 11월 6일부터 9일까지 미국 애틀랜타에서 개최됩니다. 공식 자료에 따르면 올해 CoRL에는 25개국 199편의 논문이 선정됐다. 인기 있는 주제로는 운영, 강화 학습 등이 있습니다. CoRL은 AAAI, CVPR 등 대규모 AI 학술회의에 비해 규모는 작지만, 올해 대형 모델, 체화된 지능, 휴머노이드 로봇 등 개념의 인기가 높아지면서 관련 연구도 주목할 만하다.
Microsoft의 새로운 핫 페이퍼: Transformer가 10억 개의 토큰으로 확장됩니다.
Jul 22, 2023 pm 03:34 PM
모든 사람이 계속해서 자신의 대형 모델을 업그레이드하고 반복함에 따라 컨텍스트 창을 처리하는 LLM(대형 언어 모델)의 능력도 중요한 평가 지표가 되었습니다. 예를 들어, 스타 모델 GPT-4는 50페이지의 텍스트에 해당하는 32k 토큰을 지원합니다. OpenAI의 전 멤버가 설립한 Anthropic은 Claude의 토큰 처리 능력을 약 75,000단어에 해당하는 100k로 늘렸습니다. "해리포터"를 한 번의 클릭으로 요약하는 것과 같습니다. "First. Microsoft의 최신 연구에서는 이번에 Transformer를 10억 개의 토큰으로 직접 확장했습니다. 이는 전체 코퍼스 또는 전체 인터넷을 하나의 시퀀스로 처리하는 등 매우 긴 시퀀스를 모델링하는 새로운 가능성을 열어줍니다. 비교하자면 일반적인
