30,000 A100 terlalu mahal, dan 300 orang di Microsoft secara rahsia membangunkan cip AI mereka sendiri selama 5 tahun! TSMC 5nm, ChatGPT menjimatkan kira-kira 30%

Untuk melatih ChatGPT, Microsoft telah membelanjakan banyak wang.

Jumlah kuasa pengkomputeran yang digunakan oleh ChatGPT adalah kira-kira 3640PF-hari Jika dikira satu kuadrilion kali sesaat, ia akan mengambil masa 3640 hari untuk mengira.

Microsoft menyambungkan lebih daripada 30,000 cip NVIDIA A100 untuk membina superkomputer buatan khusus untuk OpenAI dengan kos ratusan juta dolar.

Jika ia terus digunakan seperti ini, dompet Microsoft mungkin tidak dapat menanggungnya.

Malah, rancangan untuk menggantikan cip Nvidia telah dilancarkan secara rahsia dalam syarikat sejak 2019.

Maklumat melaporkan bahawa kira-kira lima tahun lalu, Microsoft mula membangunkan cip, secara dalaman bernama kod "Athena", dan dibangunkan bersama oleh 300 orang.

Pelan asal adalah untuk menggunakan proses 5nm TSMC.

Athena yang dibangunkan sendiri untuk mencabar NVIDIA

Tidak perlu dikatakan, "Athena" direka khas untuk melatih model bahasa besar ( LLM) ) dan direka.

Kini, jika Microsoft mahu meletakkan semua keupayaan GPT-4 ke dalam baldi FamilyMart termasuk Bing, Microsoft 365 dan GitHub, ia pasti memerlukan banyak sokongan kuasa pengkomputeran.

Apa yang mengejutkan, kos membangunkan cip seperti Athena mungkin kira-kira $100 juta setahun.

Apabila melatih model, penyelidik boleh menggunakan keupayaan "Athena" untuk memproses data baharu dan melakukan inferens pada masa yang sama.

Dengan cara ini, keadaan sebelum ini yang terpaksa menggunakan komputer khusus untuk memproses perisian kecerdasan buatan telah dikurangkan, lagipun, tidak pernah ada komputer yang khusus untuk menjalankan AI.

Kerana hanya Nvidia sebelum ini mengeluarkan cip jenis ini, dan kekurangan bekalan telah membuatkan seluruh industri teknologi merasakan kekurangan ini.

Disebabkan ini, Microsoft perlu menyediakan cip khusus untuk beberapa pasukan dalaman.

Sebelum ini, syarikat penyelidikan SemiAnalysis telah menganggarkan bahawa ChatGPT membakar AS$700,000 sehari, dengan setiap pertanyaan berharga 0.36 sen.

Jika "Athena" berdaya saing, ia boleh mengurangkan kos setiap cip sebanyak 1/3.

Tracy Woo, penganalisis awan kanan di Forrester Research, berkata bahawa letupan AI telah menyebabkan syarikat-syarikat besar bergegas ke dalamnya, dan kekurangan cip bukan sahaja memberi tekanan kepada pembekal, tetapi juga Ini telah memberi tekanan kepada syarikat teknologi AI.

Syarikat teknologi besar seperti Google dan Amazon mempunyai modal yang mencukupi untuk mereka bentuk dan membangunkan cip mereka sendiri, dan syarikat lain perlu mengikuti perkembangan tersebut.

Mari kita bincangkan tentang "Athena" Microsoft.

Malah, masa pelancaran projek cip AI Microsoft adalah semata-mata tidak sengaja dan tidak dirancang.

Pada awal tahun ini, OpenAI dan Microsoft membuat lonjakan kualitatif dalam latihan LLM. Orang yang biasa dengan perkara itu berkata bahawa pelepasan ChatGPT meletupkan Internet, dan kerana ini, Microsoft tergesa-gesa mempercepatkan pelancaran "Athena".

Anda tahu, ChatGPT mempunyai lebih daripada 100 juta pengguna.

Diramalkan bahawa Microsoft mungkin menggunakan "Athena" secara besar-besaran seawal tahun depan, termasuk dalam Microsoft dan OpenAI. Perkara yang mereka masih teragak-agak ialah sama ada untuk menyediakan "Athena" kepada pelanggan perkhidmatan pengkomputeran awan Azure.

Microsoft menyatakan bahawa kebanyakan pelanggan tidak perlu melatih LLM mereka sendiri, jadi mereka tidak memerlukan berkat cip.

Walau bagaimanapun, jika anda benar-benar mahu memberikannya, Microsoft perlu melakukan yang lebih baik daripada Nvidia. Lagipun, cip NVIDIA telah bekerja keras selama lima belas tahun dan paling laris kepada semua pembangun.

Dylan Patel, ketua penganalisis di firma penyelidikan SemiAnalysis, berkata kos operasi ChatGPT ialah kira-kira AS$700,000 sehari, iaitu kira-kira 0.36 sen bagi setiap pertanyaan. Sumber utama kos ini adalah pelayan, yang terlalu mahal.

Tetapi jika OpenAI menggunakan "Athena" yang dibangunkan sendiri dan boleh mengalahkan Nvidia, maka kosnya boleh dikurangkan sebanyak satu pertiga.

Beliau seterusnya menyatakan bahawa Microsoft juga berharap untuk menggunakan LLM dalam semua aplikasinya pada masa hadapan, seperti Bing, Office 365, GitHub, dll. Jika anda terus menggunakan perkakasan semasa untuk penggunaan, ia akan menelan belanja berpuluh bilion dolar setiap tahun.

Selain itu, cip yang dibangunkan sendiri oleh Microsoft mempunyai sokongan data lain.

Para eksekutif Microsoft meramalkan bilangan unit pemprosesan grafik yang diperlukan untuk menyokong kerja AI. Salah seorang yang mengetahui perkara itu berkata bahawa bergantung sepenuhnya pada cip Nvidia akan menjadi sangat mahal.

Walaupun Microsoft dan NVIDIA baru sahaja mencapai projek kerjasama untuk membina superkomputer tahun lepas, dari segi cip, "Athena" masih bersaing dengan produk NVIDIA.

Walau bagaimanapun, Nvidia enggan mengulas mengenai topik sensitif ini.

Atas ialah kandungan terperinci 30,000 A100 terlalu mahal, dan 300 orang di Microsoft secara rahsia membangunkan cip AI mereka sendiri selama 5 tahun! TSMC 5nm, ChatGPT menjimatkan kira-kira 30%. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!