긴 코드 시나리오에서 성능을 향상시키기 위한 긴 코드 시퀀스에 대한 변환기 모델 최적화 방법
Alibaba 클라우드 머신 러닝 플랫폼 PAI는 중국 화동 사범 대학의 Gao Ming 교수팀과 협력하여 SIGIR2022에서 구조 인식 희소 관심 트랜스포머 모델 SASA를 발표했습니다. 이는 긴 코드 시퀀스를 개선하는 데 전념하는 트랜스포머 모델 최적화 방법입니다. 긴 코드 시퀀스의 성능 및 성능. self-attention 모듈의 복잡성은 시퀀스 길이에 따라 기하급수적으로 증가하므로 대부분의 프로그래밍 기반 PPLM(사전 훈련된 언어 모델)은 시퀀스 절단을 사용하여 코드 시퀀스를 처리합니다. SASA 방법은 self-attention 계산을 줄이고 코드의 구조적 특성을 결합하여 긴 시퀀스 작업의 성능을 향상시키고 메모리와 계산 복잡성을 줄입니다.
논문: Tingting Liu, Chengyu Wang, Cen Chen, Ming Gao 및 Aoying Zhou. SIGIR 2022를 통한 긴 프로그래밍 언어 이해
모델 프레임워크
다음 그림은 SASA의 전체 프레임워크를 보여줍니다. :
그 중 SASA는 주로 전처리 단계와 Sparse Transformer 훈련 단계의 두 단계로 구성됩니다. 전처리 단계에서는 두 토큰 사이의 상호 작용 행렬이 얻어지며, 하나는 top-k 주파수 행렬이고 다른 하나는 AST 패턴 행렬입니다. Top-k 주파수 행렬은 코드 사전 훈련된 언어 모델을 사용하여 CodeSearchNet 코퍼스에서 토큰 간의 주의 상호 작용 빈도를 학습합니다. AST 패턴 행렬은 코드를 구문 분석하는 AST(Abstract Syntax Tree)입니다. 토큰 간의 대화형 정보에 대한 구문 트리의 연결 관계에 대한 정보입니다. Sparse Transformer 훈련 단계에서는 Transformer Encoder를 기본 프레임워크로 사용하고, 전체 self-attention을 구조 인식 sparse self-attention으로 대체하고, 특정 패턴을 따르는 토큰 쌍 간에 attention 계산을 수행하여 계산 복잡성을 줄입니다.
SASA sparse attention에는 총 4개의 모듈이 포함됩니다.
- Sliding window attention: 로컬 컨텍스트의 특성을 유지하면서 슬라이딩 윈도우의 토큰 간 self-attention만 계산합니다. 계산 복잡성은 시퀀스 길이입니다. 슬라이딩 윈도우 크기입니다.
- 글로벌 어텐션: 특정 글로벌 토큰을 설정합니다. 이 토큰은 시퀀스의 글로벌 정보를 얻기 위해 시퀀스의 모든 토큰에 대해 어텐션 계산을 수행합니다. 계산 복잡성은 글로벌 토큰의 수입니다.
- Top-k 희소 주의: Transformer 모델의 주의 상호 작용은 희박하고 긴 꼬리입니다. 각 토큰에 대해 주의 상호 작용이 가장 높은 상위 k 토큰만 계산됩니다.
- AST 인식 구조 어텐션: 코드는 자연어 시퀀스와 다르며 더 강력한 구조적 특성을 가집니다. 코드를 추상 구문 트리(AST)로 구문 분석하여 구문 트리의 연결 관계를 기반으로 어텐션 계산 범위가 결정됩니다. .
현대 하드웨어의 병렬 컴퓨팅 특성에 적응하기 위해 시퀀스를 토큰 단위로 계산하는 대신 여러 블록으로 나눕니다. 각 쿼리 블록에는
슬라이딩 윈도우 블록과
글로벌 블록이 있습니다. 그리고
top-k 및 AST 블록은 attention을 계산합니다. 전체 계산 복잡도는
b는 블록 크기입니다.
각 희소 주의 패턴은 주의 행렬에 해당합니다. 예를 들어 슬라이딩 창 주의를 사용하면 주의 행렬의 계산은 다음과 같습니다.
ASA 의사 코드:
실험 결과
평가를 위해 CodeXGLUE[1]에서 제공하는 4가지 작업 데이터 세트, 즉 코드 복제 감지, 결함 감지, 코드 검색 및 코드 요약을 사용합니다. 긴 시퀀스 데이터 세트를 구성하기 위해 시퀀스 길이가 512보다 큰 데이터를 추출했습니다. 실험 결과는 다음과 같습니다.
실험 결과에서 볼 수 있듯이 세 가지 데이터 세트에서 SASA의 성능이 크게 향상되었습니다. 모든 기준선을 초과합니다. 그 중 Roberta-base[2], CodeBERT[3], GraphCodeBERT[4]는 긴 시퀀스를 처리하기 위해 잘림을 사용하는데, 이로 인해 컨텍스트 정보의 일부가 손실됩니다. Longformer[5]와 BigBird[6]는 자연어 처리에서 긴 시퀀스를 처리하는 데 사용되는 방법이지만 코드의 구조적 특성을 고려하지 않아 코드 작업으로 직접 전달하는 것은 효과적이지 않습니다.
top-k sparse attention 및 AST-aware sparse attention 모듈의 효과를 검증하기 위해 BigCloneBench 및 DefectDetection 데이터 세트에 대한 절제 실험을 수행했습니다. 결과는 다음과 같습니다.
Sparse attention 모듈. 긴 코드 작업에만 적합하지 않습니다. 성능이 향상되었으며 비디오 메모리 사용량이 크게 줄어들 수 있습니다. 동일한 장치에서 SASA는 더 큰 배치 크기를 설정할 수 있지만 전체 self-attention 모델은 부족 문제에 직면합니다. 메모리의 구체적인 비디오 메모리 사용량은 다음과 같습니다.
SASA는 희소 주의 모듈로서 Transformer를 기반으로 하는 다른 사전 훈련된 모델로 마이그레이션하여 긴 시퀀스 자연어 처리 작업을 처리할 수 있습니다. 오픈 소스 프레임워크 EasyNLP(https://github.com/alibaba/EasyNLP)를 개발하고 오픈 소스 커뮤니티에 기여합니다.
논문 링크:
https://arxiv.org/abs/2205.13730
위 내용은 긴 코드 시나리오에서 성능을 향상시키기 위한 긴 코드 시퀀스에 대한 변환기 모델 최적화 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











GEMM(일반 행렬 곱셈)은 많은 응용 프로그램과 알고리즘의 중요한 부분이며 컴퓨터 하드웨어 성능을 평가하는 중요한 지표 중 하나이기도 합니다. GEMM 구현에 대한 심층적인 연구와 최적화는 고성능 컴퓨팅과 소프트웨어와 하드웨어 시스템 간의 관계를 더 잘 이해하는 데 도움이 될 수 있습니다. 컴퓨터 과학에서 GEMM의 효과적인 최적화는 컴퓨팅 속도를 높이고 리소스를 절약할 수 있으며, 이는 컴퓨터 시스템의 전반적인 성능을 향상시키는 데 중요합니다. GEMM의 작동 원리와 최적화 방법에 대한 심층적인 이해는 현대 컴퓨팅 하드웨어의 잠재력을 더 잘 활용하고 다양하고 복잡한 컴퓨팅 작업에 대한 보다 효율적인 솔루션을 제공하는 데 도움이 될 것입니다. GEMM의 성능을 최적화하여

기존 컴퓨팅을 능가할 뿐만 아니라 더 낮은 비용으로 더 효율적인 성능을 달성하는 인공 지능 모델을 상상해 보세요. 이것은 공상과학 소설이 아닙니다. DeepSeek-V2[1], 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. DeepSeek-V2는 경제적인 훈련과 효율적인 추론이라는 특징을 지닌 전문가(MoE) 언어 모델의 강력한 혼합입니다. 이는 236B 매개변수로 구성되며, 그 중 21B는 각 마커를 활성화하는 데 사용됩니다. DeepSeek67B와 비교하여 DeepSeek-V2는 더 강력한 성능을 제공하는 동시에 훈련 비용을 42.5% 절감하고 KV 캐시를 93.3% 줄이며 최대 생성 처리량을 5.76배로 늘립니다. DeepSeek은 일반 인공지능을 연구하는 회사입니다.

Boston Dynamics Atlas가 공식적으로 전기 로봇 시대에 돌입했습니다! 어제 유압식 Atlas가 역사의 무대에서 "눈물을 흘리며" 물러났습니다. 오늘 Boston Dynamics는 전기식 Atlas가 작동 중이라고 발표했습니다. 상업용 휴머노이드 로봇 분야에서는 보스턴 다이내믹스가 테슬라와 경쟁하겠다는 각오를 다진 것으로 보인다. 새 영상은 공개된 지 10시간 만에 이미 100만 명이 넘는 조회수를 기록했다. 옛 사람들은 떠나고 새로운 역할이 등장하는 것은 역사적 필연이다. 올해가 휴머노이드 로봇의 폭발적인 해라는 것은 의심의 여지가 없습니다. 네티즌들은 “로봇의 발전으로 올해 개막식도 인간처럼 생겼고, 자유도도 인간보다 훨씬 크다. 그런데 정말 공포영화가 아닌가?”라는 반응을 보였다. 영상 시작 부분에서 아틀라스는 바닥에 등을 대고 가만히 누워 있는 모습입니다. 다음은 입이 떡 벌어지는 내용이다

이달 초 MIT와 기타 기관의 연구자들은 MLP에 대한 매우 유망한 대안인 KAN을 제안했습니다. KAN은 정확성과 해석성 측면에서 MLP보다 뛰어납니다. 그리고 매우 적은 수의 매개변수로 더 많은 수의 매개변수를 사용하여 실행되는 MLP보다 성능이 뛰어날 수 있습니다. 예를 들어 저자는 KAN을 사용하여 더 작은 네트워크와 더 높은 수준의 자동화로 DeepMind의 결과를 재현했다고 밝혔습니다. 구체적으로 DeepMind의 MLP에는 약 300,000개의 매개변수가 있는 반면 KAN에는 약 200개의 매개변수만 있습니다. KAN은 MLP와 같이 강력한 수학적 기반을 가지고 있으며, KAN은 Kolmogorov-Arnold 표현 정리를 기반으로 합니다. 아래 그림과 같이 KAN은

AI는 실제로 수학을 변화시키고 있습니다. 최근 이 문제에 주목하고 있는 타오저쉬안(Tao Zhexuan)은 '미국수학회지(Bulletin of the American Mathematical Society)' 최신호를 게재했다. '기계가 수학을 바꿀 것인가?'라는 주제를 중심으로 많은 수학자들이 그들의 의견을 표현했습니다. 저자는 필즈상 수상자 Akshay Venkatesh, 중국 수학자 Zheng Lejun, 뉴욕대학교 컴퓨터 과학자 Ernest Davis 등 업계의 유명 학자들을 포함해 강력한 라인업을 보유하고 있습니다. AI의 세계는 극적으로 변했습니다. 이 기사 중 상당수는 1년 전에 제출되었습니다.

Google이 추진하는 JAX의 성능은 최근 벤치마크 테스트에서 Pytorch와 TensorFlow를 능가하여 7개 지표에서 1위를 차지했습니다. 그리고 JAX 성능이 가장 좋은 TPU에서는 테스트가 이루어지지 않았습니다. 개발자들 사이에서는 여전히 Tensorflow보다 Pytorch가 더 인기가 있습니다. 그러나 앞으로는 더 큰 모델이 JAX 플랫폼을 기반으로 훈련되고 실행될 것입니다. 모델 최근 Keras 팀은 기본 PyTorch 구현을 사용하여 세 가지 백엔드(TensorFlow, JAX, PyTorch)와 TensorFlow를 사용하는 Keras2를 벤치마킹했습니다. 첫째, 그들은 주류 세트를 선택합니다.

테슬라의 로봇 옵티머스(Optimus)의 최신 영상이 공개됐는데, 이미 공장에서 작동이 가능한 상태다. 정상 속도에서는 배터리(테슬라의 4680 배터리)를 다음과 같이 분류합니다. 공식은 또한 20배 속도로 보이는 모습을 공개했습니다. 작은 "워크스테이션"에서 따고 따고 따고 : 이번에 출시됩니다. 영상에는 옵티머스가 공장에서 이 작업을 전 과정에 걸쳐 사람의 개입 없이 완전히 자율적으로 완료하는 모습이 담겨 있습니다. 그리고 Optimus의 관점에서 보면 자동 오류 수정에 중점을 두고 구부러진 배터리를 집어 넣을 수도 있습니다. NVIDIA 과학자 Jim Fan은 Optimus의 손에 대해 높은 평가를 했습니다. Optimus의 손은 세계의 다섯 손가락 로봇 중 하나입니다. 가장 능숙합니다. 손은 촉각적일 뿐만 아니라

표적 탐지는 자율주행 시스템에서 상대적으로 성숙한 문제이며, 그 중 보행자 탐지는 가장 먼저 배포되는 알고리즘 중 하나입니다. 대부분의 논문에서 매우 포괄적인 연구가 수행되었습니다. 그러나 서라운드 뷰를 위한 어안 카메라를 사용한 거리 인식은 상대적으로 덜 연구되었습니다. 큰 방사형 왜곡으로 인해 표준 경계 상자 표현은 어안 카메라에서 구현하기 어렵습니다. 위의 설명을 완화하기 위해 확장된 경계 상자, 타원 및 일반 다각형 디자인을 극/각 표현으로 탐색하고 인스턴스 분할 mIOU 메트릭을 정의하여 이러한 표현을 분석합니다. 제안된 다각형 형태의 모델 fisheyeDetNet은 다른 모델보다 성능이 뛰어나며 동시에 자율 주행을 위한 Valeo fisheye 카메라 데이터 세트에서 49.5% mAP를 달성합니다.
