저자 | 중국과학원 다학제적 연구팀
편집자 | ScienceAI
20세기 인류 3대 과학 프로젝트 중 하나로 알려진 인간 게놈 프로젝트의 심층 분석이 시작됐다. 삶의 신비에 대해. 생명 과정의 다차원적이고 매우 역동적인 특성으로 인해 전통적인 실험 연구 방법으로는 유전 코드의 기본 공통 법칙을 체계적이고 정확하게 해독하기가 어렵습니다. 표현 모델링과 지식을 달성하려면 강력한 컴퓨팅 기술을 사용하는 것이 시급합니다. 유전자 데이터 발견.
현재 대형 모델을 핵심으로 하는 인공지능 기술은 컴퓨터 비전, 자연어 이해 등의 분야에서 혁명을 일으키며 데이터와 지식에 대한 심층적인 이해를 입증하고 있으며 생명과학 연구 분야에도 적용될 것으로 기대됩니다. 암호학의 기본 공통법칙
최근 중국과학원의 다학제간 연구팀으로 구성된 "Xcompass 컨소시엄"이 생명과학 연구에 힘을 실어주는 인공지능 분야에서 중요한 돌파구를 마련했습니다. 세계 최초의 종간 생명과학 구축 기본 대형 모델 - GeneCompass. 이 모델은 인간과 생쥐의 1억 2천 6백만 개가 넘는 단일 세포의 전사체 데이터를 통합하고 프로모터 서열 및 유전자 공동발현 관계를 포함한 4가지 유형의 사전 지식을 통합합니다. 기본 모델 매개변수의 수는 1억 3천만 개에 달하여 유전자 제어를 실현합니다. 표현. 규제법칙에 대한 파노라마 학습과 이해는 세포 상태 변화 예측과 다양한 생명 과정의 정확한 분석을 동시에 지원하여 생명 과학 연구에 힘을 실어주는 인공 지능의 큰 잠재력을 보여줍니다.
이 연구의 제목은 "GeneCompass: 지식 기반 교차 종 기반 모델을 이용한 보편적 유전자 조절 메커니즘 해독"이며 bioRxiv에 게재되었습니다.
논문 링크: https://www.biorxiv.org/content/10.1101/2023.09.26.559542v1
이와 함께 전이 학습 기반 유전자 조절 네트워크 생성 모델인 CellPolaris도 동시에 출시했습니다. , 이 모델은 세포 운명 전환에 대한 핵심 요인을 정확하게 식별할 수 있으며 전사 인자 교란을 시뮬레이션하는 능력이 있습니다.
이 연구의 제목은 "CellPolaris: Decoding Cell Fate through Generalization Transfer Learning of Gene Regulatory Networks"이며 bioRxiv에 게재되었습니다.
GeneCompass: 종 전반에 걸친 생명의 기초에 대한 최초의 대규모 모델
포유류 개체는 일반적으로 수만에서 수십조 개의 세포를 포함합니다. 개인의 모든 세포는 동일한 유전적 서열을 포함하고 있지만 각 세포의 운명과 기능은 고유한 시공간적 맥락으로 인해 매우 다양합니다. 이렇게 정교한 생명 과정은 복잡한 유전자 발현 조절 시스템에 의해 제어됩니다
생명의 본질적인 법칙에 대한 이해를 높이고 다양한 주요 질병의 진단과 치료를 혁신하기 위해서는 유전자 조절에 대한 심층적인 탐구가 필요합니다 생활 곳곳에 존재하는 메커니즘. 그러나 전통적인 연구 방법은 처리량이 낮고 단일 모델 유기체로 제한되며 복잡한 유전자 조절 메커니즘을 밝힐 수 없습니다. 최근 몇 년 동안 단일 세포 오믹스 기술의 획기적인 발전으로 다양한 유형의 유전자 발현 프로파일 데이터가 많이 생성되었습니다. 세포는 유전자 해석의 기초를 제공합니다. -유전자 상호작용은 데이터의 기초를 제공합니다. 동시에 딥러닝의 발전, 특히 대규모 생성 모델의 출현은 다양한 세포 상태에서 대규모 데이터 학습의 비선형 조절 메커니즘을 포괄적으로 요약할 수 있어 생명과학 연구에 전례 없는 기회를 제공할 수 있습니다.
1억 2천만 개의 세포 수와 1억 3천만 개의 매개변수를 포함하여 종 전반에 걸친 생명의 기본에 대한 대규모 모델현재 단일 종에 대해 얻은 단일 세포 전사체 데이터의 규모는 전 세계적으로 수천만 개에 불과합니다. , 복잡한 생활 과정을 분석하는 데 사용되는 기본 생활 모델의 대규모 모델 훈련을 완전히 지원하는 것은 어렵습니다.
팀은 다양한 종의 오픈 소스 단일 세포 전사체 데이터를 수집하고 스크리닝, 세척, 정규화 등의 전처리 과정을 거쳐 생쥐와 인간의 1억 2,600만 개 이상의 세포를 포함하여 알려진 최대 규모의 고품질 훈련 데이터를 구축했습니다. . 컬렉션 scCompass-126M은 Transformer self-attention 메커니즘을 기반으로 하는 딥 러닝 아키텍처를 채택하여 서로 다른 세포 배경의 서로 다른 유전자 간의 장기적인 동적 상관관계를 포착할 수 있으며 모델 매개변수 크기는 1억 3천만 개에 달합니다. 생명 과정의 고해상도 특성화를 달성하기 위해 GeneCompass는 처음으로 유전자 수와 발현 수준을 이중 인코딩하여 유전자 간의 상관 관계를 효과적이고 민감하게 추출할 수 있습니다. 이를 통해 GeneCompass는 세포 유형 및 교란 상태와 같은 다양한 특정 조건에서 유전자-유전자 상호 작용에 대한 보다 정확한 분석을 제공할 수 있습니다.
사전 훈련 중에 사전 지식을 포함하면 모델 성능을 효과적으로 향상시킬 수 있습니다.
모델은 4가지 생물학적 사전 지식인 프로모터 서열, 알려진 유전자 조절 네트워크, 유전자 가족 정보 및 유전자 공동 발현 관계를 효과적으로 통합하여 인간을 추가합니다. 주석 정보 인코딩은 생물학적 데이터 간의 복잡한 특징 상관 관계에 대한 이해를 향상시킵니다. GeneCompass는 교육을 통해 데이터 정보와 다양한 종에 대한 사전 지식을 통합함으로써 전통적인 생물학 연구의 효율성과 정확성을 향상시키고 아직 해결될 수 없는 복잡한 생명 과학 문제에 대한 새로운 진입점을 제공할 것으로 기대됩니다.
스케일 효과는 생물학적 진화의 보수적인 법칙을 포착하기 위해 모델 훈련을 촉발합니다
팀은 대규모 종 간 데이터로 사전 훈련된 모델이 단일 종의 하위 작업에 대한 스케일링 법칙을 준수한다는 것을 발견했습니다. 즉, 대규모 다중 종 사전 훈련 데이터는 더 나은 사전 훈련된 표현을 생성하고 다운스트림 작업의 성능을 더욱 향상시킬 수 있습니다. 이 발견은 종들 사이에 보존된 유전자 조절 패턴이 있으며, 이러한 패턴이 사전 훈련된 모델을 통해 학습되고 이해될 수 있음을 보여줍니다. 동시에 이는 종과 데이터의 확장에 따라 모델 성능이 지속적으로 향상될 것으로 예상된다는 의미이기도 합니다
다중 작업 성능 이점 기본 대형 모델의 강력한 일반화 기능을 보여줍니다
현재 지식이 내장된 가장 큰 종 간 사전 훈련된 기본 생활 모델인 GeneCompass는 여러 종 간 다운스트림 작업에 대한 전이 학습을 구현할 수 있으며 세포 유형에서 사용할 수 있습니다. 주석, 정량적 유전자 교란 예측, 약물 민감도 분석 등 성능면에서 기존 방법보다 더 나은 성능을 달성합니다. 이는 라벨이 지정되지 않은 다중 종 빅데이터를 기반으로 사전 학습한 후 모델 미세 조정을 위해 다양한 하위 작업 데이터를 사용하는 것의 전략적 이점을 충분히 보여줍니다. 이는 유전자와 관련된 다양한 생물학적 문제를 분석하고 예측하기 위한 보편적인 솔루션이 될 것으로 예상됩니다. -세포 특성.
세포 분극화: 전이 학습은 유전자 조절 네트워크를 해독하고 세포 운명 변화를 예측합니다.
전이 학습을 사용하여 세포별 유전자 조절 네트워크를 생성합니다
팀은 또한 일반화된 전이 학습 기반의 세트를 개발했습니다. 유전자 조절 네트워크는 CellPolaris라는 AI 모델을 구축합니다. 이 모델은 먼저 일치하는 세포 시나리오에서 수백 세트의 전사체 및 염색질 접근성 데이터를 분류하여 고품질 유전자 조절 네트워크를 구축한 다음 일반화된 전이 학습 모델을 사용하여 전사체 조절 네트워크만 사용하여 세포 시나리오에서 더 많은 유전자를 생성합니다. . 그런 다음 생성된 신뢰도가 높은 유전자 조절 네트워크를 사용하여 세포 운명 전환에 대한 핵심 전사 인자를 식별하는 도구와 확률적 그래픽 모델을 기반으로 하는 전사 인자 교란 시뮬레이션 도구를 개발했습니다. 이 모델은 세포 운명 전환의 핵심 요소를 효과적으로 식별하고 전사 인자 교란 시뮬레이션을 실현할 수 있으며, 유전자 조절 메커니즘 분석 및 질병 유발 유전자 발견에 중요한 응용 가치를 가지고 있습니다.
CellPolaris 모델에 의해 생성된 유전자 조절 네트워크는 풍부한 분자를 제공합니다. 상호작용 정보는 대규모 딥러닝 모델의 사전 지식으로 활용될 수 있습니다. 딥러닝 대형 모델을 통해 생성된 저차원 임베딩 벡터는 유전자 조절 메커니즘 분석과 질병 유발 유전자 발견에 중요한 정보를 제공할 것입니다.
위 두 연구는 "Compass Alliance" 팀에 의해 완료되었습니다. "Compass Alliance" 팀은 현재 주로 동물학 연구소, 중국 과학원, 자동화 연구소, 컴퓨터기술연구소, 수학 및 시스템과학연구소 등 디지털 지능을 기반으로 한 생명과학 연구의 새로운 패러다임을 정립하고 생명의 본질적 법칙을 분석하는 것이 이번 제휴의 목표이다.
인공지능 × [생물 신경과학 수학 물리화학재료]
위 내용은 중국과학원 연구팀은 두 가지 중요한 논문을 발표했습니다. 하나는 종 전체에 걸친 생명의 기초에 대한 최초의 대규모 모델 출시이고, 다른 하나는 세포 운명 예측을 위한 새로운 AI 모델 출시입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
