Kuaishou의 연구 성과 SAMP가 EMNLP2023 국제 인공 지능 컨퍼런스에서 인정을 받았습니다.

자연어 처리 등의 분야에서 딥러닝 모델이 폭넓게 적용되면서 모델 추론 속도와 성능이 중요한 문제가 되었습니다. 최근 Kuaishou가 주도한 연구 결과 "SAMP: Post-training Quantitative Model Inference Library Based on Adaptive Mixed Precision"이 EMNLP 2023 최고 컨퍼런스에 성공적으로 선정되어 싱가포르에서 발표 및 공유되었습니다

본 연구에서는 적응형 혼합 ​​정밀 기술을 사용하여 모델 성능을 유지하면서 추론 속도를 크게 높이는 SAMP라는 추론 가속 도구를 제안합니다. 여기에는 적응형 혼합 ​​정밀도 인코더와 일련의 고급 융합 전략이 포함되어 있습니다. 적응형 혼합 ​​정밀도 인코더는 다수의 GEMM(일반 행렬 곱셈) 연산 및 변환기 레이어에서 최상의 부동 소수점 및 고정 소수점 혼합 정밀도 조합을 찾을 수 있으므로 모델 추론 성능이 사용자 요구에 가장 가깝습니다(계산). 정확성 또는 추론 효율성). 궁극적으로 혼합 정밀도 계산은 전체 고정 소수점 계산보다 더 나은 계산 정확도를 달성합니다. 융합 전략은 임베딩 연산자와 양자화 관련 계산 작업을 통합하고 개선하여 CUDA 커널 호출을 절반으로 줄입니다. 동시에 SAMP는 C++ 프로그래밍 언어로 구현된 엔드투엔드 툴킷으로 추론 속도가 뛰어나고 교육 후 정량적 추론의 산업 적용 임계값을 낮춥니다.

다시 작성해야 할 점은 표 1과 같이 유사한 시스템과 비교한 SAMP의 혁신 포인트입니다

SAMP에는 다음과 같은 주요 하이라이트가 있습니다.

1. 적응력. SAMP는 훈련 후 양자화 추론 접근 방식에서 계산 정확도와 대기 시간 성능의 균형을 유지합니다. 사용자는 다양한 작업에 대해 적절한 정확도와 추론 대기 시간을 갖춘 혼합 정밀도 구성을 선택할 수 있습니다. SAMP는 적응형 할당 방법을 통해 사용자에게 최상의 양자화 조합 모드를 추천할 수도 있습니다.

2. 추론 효율성. SAMP는 넓은 정밀도 범위(부동 소수점에서 고정 소수점까지)에서 다른 추론 도구 키트보다 더 나은 추론 속도 향상을 보여줍니다. CLUE(중국어 이해 평가 벤치마크) 분류 작업 데이터 세트에서 SAMP는 FasterTransformer에 비해 최대 1.05~1.15배의 가속을 달성했습니다.

3. 유연성. SAMP는 분류, 서열 라벨링, 텍스트 일치 등과 같은 다양한 다운스트림 작업을 다룹니다. 대상 모듈은 확장 가능하며 유연하게 사용자 정의할 수 있습니다. 사용자 친화적이고 플랫폼 의존도가 낮습니다. SAMP는 C++ 및 Python API를 지원하며 CUDA 11.0 이상만 필요합니다. 또한 SAMP는 다양한 형식의 모델 간 상호 변환을 지원하는 다양한 모델 변환 도구도 제공합니다.

사진 1: 본 연구 논문은 EMNLP2023 컨퍼런스에서 발표 및 공유될 예정입니다

Kuaishou의 Tian Rong 수석 연구원은 팀 전체가 공동 노력한 결과 모델 추론과 같은 시나리오에서 좋은 결과를 얻을 수 있었다고 말했습니다. SAMP는 세 가지 측면에서 기여했습니다. 첫째, 산업 응용 분야에서 기존 PTQ(사후 양자화) 추론 도구의 큰 정확도 손실 문제를 해결합니다. 둘째, 여러 다운스트림 작업에서 PTQ(사후 양자화) 기술의 사용을 촉진합니다. 동시에 대규모 애플리케이션인 추론 라이브러리는 가볍고 유연하며 사용자 친화적이며 사용자 정의 작업 목표를 지원합니다

EMNLP(Empirical Methods in Natural Language Process)는 자연어 처리 및 인공지능 분야 최고의 국제 학회 중 하나로, 다양한 응용 시나리오에서 자연어 처리 기술에 대한 학문적 연구에 특히 중점을 두고 있다고 합니다. 자연어 처리에 관한 실증적 연구를 소개합니다. 이번 컨퍼런스는 사전 학습 언어 모델, 텍스트 마이닝, 대화 시스템, 기계 번역 등 자연어 처리 분야의 핵심 혁신을 촉진했으며, 이는 학계와 산업계 모두에 큰 영향을 미칩니다. 이 분야의 연구 결과는 국제 학자들에 의해 인정되었습니다.

위 내용은 Kuaishou의 연구 성과 SAMP가 EMNLP2023 국제 인공 지능 컨퍼런스에서 인정을 받았습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!