매개변수 개수는 1/50, 메타는 110억 매개변수 모델 출시, 구글 PaLM 제치고

대규모 언어 모델(LLM)을 작은 샘플 학습자로 이해할 수 있습니다. 이는 몇 가지 예를 사용하여 새로운 작업을 학습할 수 있거나, 모델 매개변수 및 교육 데이터의 양이 제한된 경우 간단한 지침만으로 학습할 수도 있습니다. 크기 확장이 핵심입니다. 모델의 일반화 능력. LLM의 이러한 개선은 컴퓨팅 성능과 저장 기능이 향상되었기 때문입니다. 직관적으로 추론 기능이 향상되면 일반화가 향상되어 샘플 학습이 줄어들지만, 효과적인 소규모 샘플 학습에 모델 매개변수에 대한 광범위한 지식이 어느 정도 필요한지는 확실하지 않습니다. ​

지금까지 검색 향상 모델은 설득력 있는 소표본 학습 기능을 보여주지 못했습니다. 이 논문에서 Meta AI Research 및 기타 기관의 연구자들은 소규모 표본 학습을 위해 모델이 매개변수에 많은 양의 정보를 저장해야 하는지, 그리고 저장이 일반화와 분리될 수 있는지 여부를 묻습니다. 그들은 현재의 다른 강력한 소표본 학습 모델보다 매개변수 수가 적음에도 불구하고 강력한 소표본 학습 기능을 갖춘 일종의 검색 강화 언어 모델인 Atlas를 제안했습니다.

모델은 비모수적 저장소를 사용합니다. 즉, 대규모 외부 비정적 지식 소스를 기반으로 하는 신경 검색기를 사용하여 매개변수적 언어 모델을 향상합니다. 스토리지 기능 외에도 이러한 아키텍처는 적응성, 해석성 및 효율성이라는 장점으로 인해 매력적입니다.

문서 주소: https://arxiv.org/pdf/2208.03299.pdf​​

Atlas 관련 문서 검색은 Contriever 듀얼 인코더를 기반으로 하는 일반 밀도 검색기입니다. 아키텍처. 파일을 검색할 때 현재 컨텍스트를 기반으로 관련 파일을 검색합니다. 현재 컨텍스트와 함께 검색된 문서는 Fusion-in-Decoder 아키텍처를 사용하여 해당 출력을 생성하는 시퀀스 간 모델에 의해 처리됩니다.

저자는 질문 답변 및 사실 확인을 포함한 다양한 다운스트림 작업의 소규모 샘플 데이터 세트에서 Atlas 교육 성능에 다양한 기술이 미치는 영향을 연구합니다. 이 연구에서는 공동 사전 훈련 구성 요소가 소규모 샘플 성능에 중요하다는 사실을 발견했으며 저자는 기존 및 새로운 사전 교육 작업과 체계를 평가했습니다. Atlas는 소규모 샘플과 리소스가 풍부한 환경 모두에서 강력한 다운스트림 성능을 제공합니다.

11B 매개변수만으로 Atlas는 64개의 훈련 예제를 사용하여 NaturalQuestions(NQ)에서 42.4%의 정확도를 달성합니다. 이는 540B 매개변수 모델 PaLM(39.6%)보다 거의 3% 포인트 더 높으며 세계 최고입니다. .데이터 세트 설정(Full)에서 정확도는 64.0%입니다.

​

Yann LeCun은 다음과 같이 말했습니다: Atlas는 질문과 답변 및 사실 확인에서 "대형"을 능가하는 그리 크지 않은 언어 모델(11B 매개변수)입니다. Atlas의 주요 차이점은 코퍼스에서 사실을 검색할 수 있다는 것입니다.

방법 개요​

Atlas는 텍스트-텍스트 프레임워크를 따릅니다. 이는 모든 작업의 ​​일반적인 프레임워크가 다음과 같다는 것을 의미합니다. 시스템은 텍스트 쿼리를 입력으로 사용하고 텍스트 출력을 생성합니다. 예를 들어 질문 및 답변 작업의 경우 쿼리는 질문에 해당하고 모델은 답변을 생성해야 합니다. 분류 작업의 경우 쿼리는 텍스트 입력에 해당하고 모델은 클래스 레이블, 즉 레이블에 해당하는 단어를 생성합니다. 그림 2의 KILT 벤치마크는 다운스트림 작업의 더 많은 예를 제공합니다. 많은 자연어 처리 작업에는 지식이 필요하며 Atlas는 검색을 통해 표준 텍스트-텍스트 모델을 향상시키는 것을 목표로 합니다. 검색은 소규모 샘플 시나리오에서 모델의 학습 능력에 중요할 수 있기 때문입니다.

Architecture

Atlas 모델은 검색기 모델과 언어 모델이라는 두 가지 하위 모델을 기반으로 합니다. 질문 답변부터 Wikipedia 기사 생성까지 작업을 수행할 때 모델은 먼저 검색기를 통해 대규모 텍스트 코퍼스에서 상위 k개의 관련 문서를 검색합니다. 쿼리와 함께 이러한 문서는 출력을 생성하는 언어 모델에 대한 입력으로 제공됩니다. 검색기와 언어 모델은 모두 아래에 자세히 설명되어 있는 미리 훈련된 변환기 네트워크를 기반으로 합니다.

검색: Atlas의 검색 모듈은 연속 밀도 임베딩을 기반으로 한 정보 검색 기술인 Contriever를 기반으로 합니다. Contriever는 쿼리와 문서가 변환기 인코더에 독립적으로 포함되는 듀얼 인코더 아키텍처를 사용합니다. 평균 풀링은 마지막 레이어의 출력에 적용되어 각 쿼리 또는 문서의 벡터 표현을 얻습니다. 그런 다음 쿼리와 각 문서 간의 상호 임베딩의 내적을 계산하여 유사성 점수를 얻습니다. Contriever 모델은 MoCo 대비 손실을 사용하여 사전 훈련되었으며 감독되지 않은 데이터만 사용합니다. 밀도 검색기의 장점 중 하나는 쿼리 및 문서 인코더 모두 경사하강법 및 증류와 같은 표준 기술을 사용하여 문서 주석 없이 학습할 수 있다는 것입니다. ​

언어 모델: 언어 모델의 경우 Atlas는 T5 시퀀스-시퀀스 아키텍처를 사용합니다. 또한 이 모델은 시퀀스 간 모델의 Fusion-in-Decoder 수정에 의존하며 각 문서를 인코더에서 독립적으로 처리합니다. 그런 다음 모델은 서로 다른 문서에 해당하는 인코더의 출력을 연결하고 디코더의 단일 시퀀스에 대해 교차 주의를 수행합니다. 모델은 쿼리를 인코더의 각 문서에 연결합니다. 언어 모델에서 검색된 문서를 처리하는 또 다른 방법은 쿼리와 모든 문서를 연결하고 이 긴 시퀀스를 모델에 대한 입력으로 사용하는 것입니다. 그러나 이 방법은 확장성이 낮습니다. 즉, 인코더의 self-attention 메커니즘으로 인해 O(n^2)의 시간 복잡도가 발생하기 때문에 문서 수가 증가해도 확장되지 않습니다. 문서).

실험 결과​

저자는 두 가지 개방형 도메인 질문 답변 벤치마크인 NaturalQuestions와 TriviaQA에서 Atlas를 평가합니다. 그리고 64개의 샘플로 구성된 작은 샘플 데이터 세트와 완전한 훈련 세트를 사용하여 이전 작업과 비교했습니다. 자세한 비교는 아래 표에 나와 있습니다.

NaturalQuestions 및 TriviaQA의 64개 질문과 답변에서 최고의 성능을 발휘합니다. 특히 더 큰 모델(PaLM)이나 더 많은 훈련 계산이 필요한 모델(Chinchilla)보다 성능이 뛰어납니다. Atlas는 전체 훈련 세트를 사용할 때 NaturalQuestions의 정확도가 55.9%에서 60.4%로 증가하는 등 최적의 결과를 얻을 수도 있습니다. 이 결과는 CCNet과 2021년 12월 위키피디아 코퍼스로 구성된 인덱스를 사용하여 Atlas의 기본 설정에서 얻은 것입니다. 아래 표는 팩트체크 데이터세트 FEVER에 대한 테스트 결과를 보여줍니다. ​

Atlas 64-shot의 경우 훈련 샘플은 전체 훈련 세트에서 샘플링됩니다. Atlas는 64.3%의 정확도를 달성했습니다. 15샷의 경우 각 클래스에서 5개의 샘플이 균일하게 샘플링되었으며 Gopher 결과와 비교하면 Atlas 정확도는 56.2%로 Gopher보다 5.1% 포인트 높습니다. Atlas 모델은 전체 훈련 세트에서 미세 조정되었으며 ProoFVer보다 1.5% 낮은 78%의 정확도를 달성했습니다. ProoFVer는 특수 아키텍처를 사용하여 문장 수준 주석으로 검색기를 훈련하며 FEVER와 함께 게시된 Wikipedia 코퍼스에서 제공되는 반면 Atlas는 CCNet 및 2021년 12월 Wikipedia 덤프에서 검색합니다. FEVER Wikipedia 자료로 구성된 인덱스가 주어졌을 때 Atlas는 80.1%의 최적 수준을 달성했습니다.

Atlas의 성능을 검증하기 위해 Atlas는 여러 가지 지식 집약적 작업으로 구성된 벤치마크인 KILT에서 평가되었습니다. 아래 표는 테스트 세트의 결과를 보여줍니다. ​

Atlas 64-shot은 실험에서 무작위 알고리즘보다 훨씬 뛰어난 성능을 발휘했으며 심지어 순위표의 일부 미세 조정된 모델과도 동등합니다. 예를 들어, FEVER에서 Atlas 64-shot은 Sphere, SEAL 및 Re2G보다 2~2.5포인트 뒤진 반면, zero-shot RE에서는 Sphere 및 SEAL보다 성능이 뛰어납니다. 전체 데이터세트에서 Atlas의 성능은 3개 데이터세트에서 최고 모델의 3% 이내이지만 나머지 5개 데이터세트에서는 최고입니다.

위 내용은 매개변수 개수는 1/50, 메타는 110억 매개변수 모델 출시, 구글 PaLM 제치고의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!