Turing Award 수상자 Jack Dongarra: 고성능 컴퓨팅과 AI의 통합이 과학 컴퓨팅을 어떻게 전복시킬 것인가?

지난 30년 동안 고성능 컴퓨팅(HPC)은 급속한 발전을 이루었고 과학 컴퓨팅 및 기타 분야에서 중요한 역할을 했습니다. 현재 클라우드 컴퓨팅과 모바일 컴퓨팅은 점차 주류 컴퓨팅 패러다임으로 자리잡고 있습니다. 동시에 딥 러닝과 같은 AI 방법의 파괴적인 영향은 HPC와 AI의 통합에 새로운 도전과 기회를 가져왔습니다. 제10회 전국 소셜 미디어 처리 회의(SMP 2022)에서 Turing Award 수상자 Jack Dongarra는 최근 몇 년 동안 고성능 컴퓨팅의 가장 중요한 응용 프로그램과 개발을 정리했습니다.

Jack Dongarra, 고성능 컴퓨팅 전문가, 2021 Turing Award 수상자, 미국 테네시 대학교 Innovative Computing Laboratory 소장. 수치 알고리즘과 라이브러리에 대한 그의 선구적인 공헌을 통해 고성능 컴퓨팅 소프트웨어는 40년 이상 하드웨어의 기하급수적인 발전과 보조를 맞출 수 있었습니다. 그의 수많은 학문적 성과로는 2019년 SIAM/ACM 계산 과학 및 엔지니어링 상을 수상했으며, 고성능 수학 소프트웨어 분야의 리더십을 인정받아 2020년 IEEE 컴퓨팅 선구자 상을 받았습니다. 그는 AAAS, ACM, IEEE 및 SIAM의 회원이자 왕립학회의 외국인 회원이며 국립 공학 아카데미(National Academy of Engineering)의 회원입니다.

1 고성능 컴퓨팅은 과학의 "제3극"에서 널리 사용됩니다

현재 과학 연구 시뮬레이션에서는 고성능 컴퓨팅(HPC) 방법이 널리 사용되고 있으며, 시뮬레이션은 과학이라고도 알려져 있습니다. 연구의 "세 번째 극"입니다. 역사적으로 과학 연구와 공학 연구는 대개 이론과 실험을 기반으로 한 패러다임을 채택해 왔습니다. 그러나 이 두 가지 방법에는 많은 본질적인 한계가 있습니다. 예를 들어 일반적으로 대규모 풍동을 구축하는 것은 매우 어렵고, 항공기 엔진 및 조류 충돌을 테스트하는 데 드는 비용이 매우 높으며, 기후 변화를 관찰하는 데 시간이 많이 걸립니다. -약물과 무기에 대한 실험은 매우 위험할 것입니다. 게다가 은하계의 움직임을 연구하거나 신약을 개발하는 등 특정 문제를 실험적으로 연구할 수 없는 경우도 있습니다. 따라서 연구자들은 점차 과학적 컴퓨팅 방법을 사용하여 시뮬레이션을 수행하고 이러한 문제를 연구하고 있습니다. 이 방법은 일반적으로 알려진 물리 법칙과 디지털 계산 방법을 기반으로 하며, 고성능 컴퓨터 시스템을 통해 해당 물리적 ​​현상을 시뮬레이션합니다.

2 다중 코어. 동시에 그래픽 처리 장치(GPU)는 일반적으로 보드에서 컴퓨팅 성능을 향상시키기 위한 가속기로 사용됩니다. 동일한 랙 캐비닛에서 서로 다른 보드는 고속 링크를 통해 통신하고, 서로 다른 캐비닛은 스위치를 통해 상호 연결됩니다. 이렇게 구성된 슈퍼컴퓨터는 테니스장 2개만큼 넓은 공간을 차지해야 할 수도 있습니다.

이러한 슈퍼컴퓨터는 매우 높은 병렬성을 가지며 일반적으로 분산 메모리와 "MPI+Open-MP" 프로그래밍 패러다임을 사용합니다. HPC 시스템의 여러 부분 간에 데이터를 이동하는 것은 데이터에 대한 부동 소수점 계산에 비해 비용이 매우 많이 듭니다. 기존 슈퍼컴퓨터는 64, 32, 16, 8비트 너비를 포함한 다양한 정밀도로 부동 소수점 계산을 지원합니다.

현재 가장 빠른 슈퍼컴퓨터는 Exaflop/s 수준(1018)의 컴퓨팅 성능을 제공할 수 있습니다. 이것은 매우 큰 가치입니다. 모든 사람이 하나의 곱셈과 덧셈 계산을 1초 안에 완료한다면, 슈퍼컴퓨터가 1초 안에 완료할 수 있는 계산을 전 세계 모든 사람이 완료하는 데 4년이 걸릴 것입니다. 동시에 이러한 슈퍼컴퓨터의 작동을 유지하려면 매년 수천만 달러의 전기 요금이 소요됩니다.

지난 30년간 세계 TOP500 슈퍼컴퓨터의 성능 변화를 보면, 슈퍼컴퓨팅 성능이 거의 기하급수적인 성장률을 유지하고 있음을 알 수 있습니다. 흥미롭게도 오늘날 사용되는 MacBook의 성능은 1993년 로스앨러모스 국립연구소에서 제작되어 주로 핵무기 설계에 사용되었던 세계 최고 수준의 슈퍼컴퓨터보다 강력합니다. 올해 6월 자료에 따르면 세계 상위 10대 슈퍼컴퓨터 중 5대는 미국산, 2대는 중국(우시와 광저우에 위치), 나머지 3대는 핀란드, 일본, 프랑스산이다.

3 “조화롭지만 다른” HPC & ML/AI

HPC와 ML 컴퓨팅은 비슷하면서도 다른 특성을 가지고 있습니다. HPC는 일반적으로 매우 제한된 데이터를 입력하고 매우 많은 수의 디지털 계산 후에 많은 양의 데이터를 출력하는 디지털 계산 집약적입니다. ML 분야의 고성능 데이터 처리(HPDA)는 일반적으로 많은 양의 데이터를 입력해야 하지만 상대적으로 적은 양의 데이터를 출력합니다. 둘이 사용하는 데이터 정확도도 매우 다릅니다. 과학 시뮬레이션과 같은 고성능 컴퓨팅 시나리오에서는 일반적으로 64비트 부동 소수점 데이터가 사용되는 반면, 기계 학습 시나리오에서는 16비트 부동 소수점 데이터가 사용됩니다.

​

AI는 과학 연구의 다양한 측면에서 매우 중요한 역할을 합니다. AI는 다양한 분야에서 과학적 발견을 지원하고, 컴퓨팅 아키텍처의 성능을 향상시키며, 엣지에서 관리할 수 있습니다. 대량의 데이터를 처리합니다. 따라서 과학 컴퓨팅 분야에서는 기계 학습과 같은 기술이 기후학, 생물학, 약학, 전염병학, 재료 과학, 우주론, 심지어 고에너지 물리학과 같은 다양한 분야에 적용되어 향상된 모델과 더욱 발전된 시뮬레이션 방법을 제공합니다. 예를 들어, 딥러닝은 약물 개발 지원, 전염병 예측, 의료 영상을 기반으로 종양 분류 등에 사용됩니다.

과학 연구 시뮬레이션과 AI 컴퓨팅은 모두 모델과 데이터가 필요하기 때문에 매우 효과적으로 결합될 수 있습니다. 일반적으로 시뮬레이션은 (수학적) 모델을 사용하여 데이터를 생성하고, (AI) 분석은 데이터를 사용하여 모델을 생성합니다. 분석 방법을 사용하여 얻은 모델은 다른 모델과 함께 시뮬레이션에 사용할 수 있으며, 시뮬레이션에서 생성된 데이터는 다른 소스의 데이터와 함께 분석에 사용할 수 있습니다. 이는 상호 발전의 선순환을 형성합니다.

HPC와 AI는 특정 응용 분야에서 서로를 보완하는 것 외에도 기본 개발 방법, 소프트웨어 및 소프트웨어 인프라, AI 하드웨어 아키텍처 분야에서 많은 연관성을 가지고 있습니다. 동시에 두 가지가 더욱 광범위하게 연결됩니다. 예를 들어 AI는 시뮬레이션을 안내하고, 시뮬레이션 애플리케이션의 매개변수를 더 빠르게 조정하고, 맞춤형 컴퓨팅 커널 기능을 제공하고, 기존 HPC와 뉴로모픽 컴퓨팅 등의 콘텐츠를 결합하는 데 사용될 수 있습니다. AI&ML은 종종 다음과 같이 말하는 것처럼 파괴적인 영향력을 가지고 있습니다. "AL&ML은 과학자를 대체하지 않지만 AI&ML 도구를 사용하는 과학자는 이러한 도구를 사용하지 않는 과학자를 대체할 것입니다."

4 미래 전망: HPC 시스템은 더욱 맞춤화될 것입니다.

미래의 HPC 시스템은 사용자 정의가 가능합니다. 현재 HPC에는 주로 CPU와 GPU의 두 가지 유형의 프로세서가 있습니다. 앞으로는 FPGA, ML 가속기, ASIC 칩 등 더 다양한 장치가 사용될 것입니다. 다양한 구조와 패러다임을 사용하는 더 많은 프로세서가 뉴로모픽 처리, 양자 컴퓨팅, 광학 컴퓨팅과 같은 HPC 컴퓨팅 시스템에 점점 더 추가될 것이며 이는 점점 더 중요한 역할을 할 수 있습니다. 새로운 HPC 시스템을 구축할 때 사람들은 필요에 따라 해당 모듈과 기능을 사용할 수 있습니다.

5 요약

HPC 하드웨어는 스칼라 컴퓨팅 기계, 벡터 컴퓨팅 기계, 분산 시스템, 가속기, 혼합 정밀도 컴퓨팅 기계 등을 포함하여 끊임없이 진화하고 있습니다. 현재 컴퓨터 분야에서는 고성능 컴퓨팅, 딥러닝, 엣지 컴퓨팅과 인공지능이라는 세 가지 큰 변화가 일어나고 있습니다. 알고리즘과 소프트웨어는 하드웨어와 함께 계속 발전해야 합니다. Leiserson 등의 논문에서 언급했듯이 무어의 법칙 이후에도 알고리즘, 소프트웨어 및 하드웨어 아키텍처를 통해 HPC 시스템의 궁극적인 성능을 향상시킬 여지가 많이 있습니다.

6 성능 GPU 교육에는 1~3개월이 소요됩니다. 고성능 컴퓨터를 사용하여 향후 며칠 또는 몇 시간 내에 관련 교육을 완료할 수 있습니까?

답변 1: GPU는 컴퓨터에 강력한 수치 컴퓨팅 기능을 제공합니다. 예를 들어 슈퍼컴퓨터의 컴퓨팅 성능 중 98%는 GPU에서 나옵니다. 그리고 CPU와 GPU 간에 데이터를 이동하는 데는 시간이 많이 걸립니다. 비용이 많이 드는 데이터 이동을 줄이기 위해 Chiplet과 같은 칩 설계 방법이나 보다 실용적인 구현 경로를 사용하여 GPU와 CPU를 더 가깝게 만들 수 있습니다. 또한, 데이터와 해당 처리 단위를 직접적으로 가져오는 방법도 높은 데이터 전송 비용 문제를 해결하는 데 매우 도움이 될 것입니다.

질문 2: 우리는 현재의 많은 머신러닝 알고리즘이 하드웨어와 함께 진화하고 서로 영향을 미칠 수 있는 현상을 관찰했습니다. 예를 들어 Nvidia 및 기타 회사는 현재 ML 분야에서 최고의 성능을 발휘하는 Transformer 모델을 위한 전용 아키텍처를 특별히 설계하여 Transformer를 더 쉽게 사용할 수 있도록 했습니다. 그러한 현상을 관찰한 적이 있습니까? 귀하의 의견은 무엇입니까?

답변 2: 이는 하드웨어 설계와 기타 측면이 어떻게 서로를 강화하는지 보여주는 아주 좋은 예입니다. 현재 많은 하드웨어 연구자들이 업계의 변화에 ​​세심한 주의를 기울이고 동향을 판단하고 있습니다. 하드웨어와 함께 애플리케이션을 공동 설계하면 성능이 크게 향상되고 더 많은 하드웨어를 판매할 수 있습니다. 나는 "알고리즘과 하드웨어가 함께 진화한다"는 말에 동의합니다.

질문 3: 고성능 컴퓨팅의 미래는 이기종 하이브리드가 될 것이라고 지적하셨습니다. 이러한 부품을 통합하는 것은 매우 어려운 문제이며 성능 저하로 이어질 수도 있습니다. GPU만 사용하면 성능이 더 좋아질 수 있습니다. 어떻게 생각하나요?

답변 3: 현재 고성능 컴퓨터에서는 CPU와 GPU가 매우 느슨하게 결합되어 있으며 계산을 위해 데이터를 CPU에서 GPU로 전송해야 합니다. 앞으로도 서로 다른 하드웨어를 사용하여 결합하는 추세는 계속될 것입니다. 예를 들어 ML 계산에 특수 하드웨어를 사용하면 GPU를 더욱 향상시킬 수 있습니다. ML 관련 알고리즘을 해당 가속기에 탑재해 알고리즘의 세부 내용이 가속기에서 실행되고, 계산 결과가 해당 프로세서로 전송된다. 미래에는 플러그형 양자 가속기를 구현하여 해당 양자 알고리즘 등을 실행할 수도 있습니다.

질문 4: HPC는 특히 연구원과 중소기업의 경우 매우 비쌉니다. 교사, 학생, 연구에 종사하는 중소기업이 HPC를 저렴하게 사용할 수 있는 클라우드 컴퓨팅과 같은 방법이 있습니까?

답변 4: 미국에서 HPC를 사용하려면 연구 중인 문제와 필요한 계산량을 설명하는 관련 신청서를 관련 부서에 제출해야 합니다. 승인되면 HPC 사용 비용에 대해 걱정할 필요가 없습니다. 모든 HPC를 클라우드 기반 시스템으로 전환해야 하는지에 대한 연구가 미국에서 수행되었습니다. 결과에 따르면 클라우드 기반 솔루션은 HPC 시스템을 직접 사용하는 것보다 2~3배 더 비쌉니다. 이의 이면에 있는 경제적 가정에 주목하는 것이 중요합니다. HPC는 충분한 사람들이 사용하고 있으며 때로는 해결해야 할 문제에 전체 HPC 시스템을 사용해야 한다는 것입니다. 이 경우 클라우드 서비스를 구매하는 것보다 전용 HPC를 보유하는 것이 더 좋습니다. 이것이 미국과 유럽의 현재 상황이다.

위 내용은 Turing Award 수상자 Jack Dongarra: 고성능 컴퓨팅과 AI의 통합이 과학 컴퓨팅을 어떻게 전복시킬 것인가?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!