A100 3만개는 너무 비싸고, 마이크로소프트 직원 300명이 5년 동안 비밀리에 AI 칩을 개발했습니다! TSMC 5nm, ChatGPT 약 30% 절감

ChatGPT를 교육하기 위해 Microsoft는 많은 돈을 썼습니다.

ChatGPT가 소비하는 총 컴퓨팅 파워는 약 3640PF-일입니다. 초당 1000조 번 계산하면 계산하는 데 3640일이 걸립니다.

Microsoft는 30,000개 이상의 Nvidia A100 칩을 연결하여 수억 달러의 비용으로 OpenAI용 맞춤형 슈퍼컴퓨터를 구축했습니다.

이러한 소비가 계속된다면 마이크로소프트의 지갑이 견디지 못할 수도 있습니다.

사실 엔비디아 칩 교체 계획은 2019년부터 회사 내에서 비밀리에 진행되어 왔습니다.

정보에 따르면 약 5년 전 Microsoft는 내부 코드명 "Athena"라는 칩을 개발하기 시작했으며 300명이 공동으로 개발했습니다.

원래 계획은 TSMC의 5nm 공정을 사용하는 것이었습니다.

NVIDIA에 도전하기 위한 자체 개발 Athena

물론 "Athena"는 LLM(대형 언어 모델) 교육용으로 특별히 설계되었습니다.

이제 Microsoft가 Bing, Microsoft 365 및 GitHub를 포함한 FamilyMart 버킷에 모든 GPT-4 기능을 추가하려면 확실히 많은 컴퓨팅 성능 지원이 필요합니다.

놀랍게도 Athena와 같은 칩을 개발하는 데 드는 비용은 연간 약 1억 달러가 될 수 있습니다.

연구원들은 모델을 훈련할 때 'Athena' 기능을 활용해 새로운 데이터를 처리하는 동시에 추론을 수행할 수 있습니다.

이렇게 해서 인공지능 소프트웨어를 처리하기 위해 전용 컴퓨터를 사용해야 했던 이전 상황은 완화되었습니다. 결국 AI를 실행하는 데 특별히 사용되는 컴퓨터만으로는 충분하지 않았습니다.

이전에는 Nvidia만이 이런 종류의 칩을 생산했고 공급 부족으로 인해 전체 기술 산업이 이러한 부족함을 느꼈기 때문입니다.

이 때문에 Microsoft는 일부 내부 팀에 전용 칩을 제공해야 합니다.

이전에 연구 회사인 SemiAnalytic은 ChatGPT가 하루에 US$700,000를 소모했으며 각 쿼리 비용은 0.36센트라고 추정했습니다.

"Athena"가 경쟁력이 있다면 각 칩의 비용을 1/3로 줄일 수 있습니다.

Forrester Research의 수석 클라우드 분석가인 Tracy Woo는 AI의 폭발로 인해 주요 기업이 이에 돌입하게 되었고, 칩 부족은 공급업체뿐만 아니라 AI 기술 회사에도 압력을 가한다고 말했습니다. .

Google 및 Amazon과 같은 대규모 기술 회사는 자체 칩을 설계하고 개발할 수 있는 충분한 자본을 보유하고 있으며 다른 회사는 이러한 속도를 따라잡아야 합니다.

Microsoft의 "Athena"로 돌아갑니다.

사실 마이크로소프트의 AI 칩 프로젝트 출시 시기는 순전히 우연이었고 계획된 것이 아니었습니다.

올해 초 OpenAI와 Microsoft는 LLM 교육에서 질적인 도약을 이루었습니다. 이 문제에 정통한 사람들은 ChatGPT의 출시로 인해 인터넷이 돌풍을 일으켰고 이로 인해 Microsoft는 서둘러 "Athena" 출시를 가속화했다고 말했습니다.

ChatGPT에는 1억 명이 넘는 사용자가 있습니다.

마이크로소프트는 이르면 내년 초 마이크로소프트와 오픈AI 내부를 포함해 '아테나'를 대규모로 적용할 수도 있을 것으로 예상된다. 그들이 여전히 주저하고 있는 것은 Azure 클라우드 컴퓨팅 서비스 고객에게 "Athena"를 제공할지 여부입니다.

Microsoft는 대부분의 고객이 자체 LLM을 교육할 필요가 없으므로 칩 지원이 필요하지 않다고 밝혔습니다.

그러나 정말로 주고 싶다면 Microsoft가 NVIDIA보다 더 잘해야 할 것입니다. 결국 NVIDIA의 칩은 15년 동안 열심히 작업해 왔으며 모든 개발자에게 가장 잘 팔리는 칩입니다.

리서치 회사인 SemiAnalytic의 수석 분석가인 Dylan Patel은 ChatGPT의 운영 비용이 하루에 약 US$700,000(쿼리당 약 0.36센트)라고 말했습니다. 이러한 비용의 주요 원인은 너무 비싼 서버입니다.

그러나 OpenAI가 자체 개발한 "Athena"를 사용하여 Nvidia를 이길 수 있다면 비용을 1/3로 줄일 수 있습니다.

그는 또한 Microsoft가 향후 Bing, Office 365, GitHub 등과 같은 모든 응용 프로그램에서 LLM을 사용하기를 희망한다고 밝혔습니다. 배포를 위해 현재 하드웨어를 계속 사용한다면 매년 수백억 달러의 비용이 소요될 것입니다.

또한 Microsoft가 자체 개발한 칩에는 또 다른 데이터 지원 기능이 있습니다.

Microsoft 경영진은 AI 작업을 지원하는 데 얼마나 많은 그래픽 처리 장치가 필요할지 예측합니다. 이 문제에 정통한 사람 중 한 명은 Nvidia 칩에만 전적으로 의존하는 것은 엄청나게 비용이 많이 들 것이라고 말했습니다.

마이크로소프트와 엔비디아는 지난해 슈퍼컴퓨터 구축을 위한 협력 프로젝트를 성사시켰지만, 칩 부문에서는 '아테나'가 여전히 엔비디아 제품과 경쟁하고 있다.

그러나 NVIDIA는 이 민감한 주제에 대해 논평을 거부했습니다.

위 내용은 A100 3만개는 너무 비싸고, 마이크로소프트 직원 300명이 5년 동안 비밀리에 AI 칩을 개발했습니다! TSMC 5nm, ChatGPT 약 30% 절감의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!