Jadual Kandungan
Evolusi perhubungan antara data dan kuasa pengkomputeran serta cabaran yang terhasil
Laluan terobosan pangkalan data bersepadu bersatu storan teragih
Gambar masa depan HPDA+AI dalam era model besar
Rumah Peranti teknologi AI Dalam era model AI yang besar, pangkalan penyimpanan data baharu menggalakkan peralihan kecerdasan digital pendidikan, penyelidikan saintifik

Dalam era model AI yang besar, pangkalan penyimpanan data baharu menggalakkan peralihan kecerdasan digital pendidikan, penyelidikan saintifik

Jul 21, 2023 pm 09:53 PM
ai model besar penyimpanan data Institut Penyelidikan Pendidikan Matematik

Generative AI (AIGC) telah membuka era baharu kecerdasan buatan umum Persaingan di sekitar model besar adalah hebat Infrastruktur pengkomputeran adalah tumpuan utama persaingan, dan kebangkitan kuasa semakin menjadi konsensus industri.

Dalam era model AI yang besar, pangkalan penyimpanan data baharu menggalakkan peralihan kecerdasan digital pendidikan, penyelidikan saintifik

Dalam era baharu, model besar beralih daripada modaliti tunggal kepada pelbagai mod, saiz parameter dan set data latihan berkembang dengan pesat, dan data tidak berstruktur yang besar memerlukan sokongan keupayaan beban campuran berprestasi tinggi pada masa yang sama, paradigma intensif data menjadi popular, dan senario aplikasi seperti pengkomputeran super dan pengkomputeran berprestasi tinggi (HPC) bergerak secara mendalam Pangkalan storan data sedia ada tidak lagi dapat memenuhi keperluan peningkatan berterusan.

Jika kuasa pengkomputeran, algoritma dan data adalah "troika" yang memacu pembangunan kecerdasan buatan, maka dalam konteks perubahan besar dalam persekitaran luaran, ketiga-tiganya perlu segera mendapatkan semula keseimbangan dinamik. Penambahbaikan "kuasa lembut" yang disebabkan oleh penambahbaikan model algoritma dan peningkatan "kuasa keras" yang disebabkan oleh pengoptimuman bekalan kuasa pengkomputeran memerlukan sokongan lanjut - "kapasiti" penghantaran data dan "kapasiti storan" data storan perlu dipertingkatkan sebagai sumber kuasa, pangkalan storan data baharu akan muncul daripada kepompong dan menjadi rama-rama dalam proses menghadapi pelbagai cabaran.

Senario aplikasi dengan keperluan yang kompleks dan terus berkembang adalah batu ujian terbaik untuk pangkalan storan data baharu. Dalam pengertian ini, industri pengajaran dan penyelidikan saintifik ialah wakil biasa: kuasa pengkomputeran dan data ialah elemen utama transformasi digital dalam bidang ini, dan pengkomputeran penyelidikan saintifik dengan integrasi disiplin adalah sama pentingnya dengan sokongan keputusan berasaskan data. Beralih daripada HPC kepada HPDA (Analisis Data Berprestasi Tinggi) merupakan langkah besar untuk meningkatkan kecekapan pengajaran dan penyelidikan saintifik, dan pemerkasaan AI boleh membantu menyelesaikan masalah yang mustahil, tidak tepat dan tidak praktikal untuk dikira pada masa lalu.

Dalam era model AI yang besar, pangkalan penyimpanan data baharu menggalakkan peralihan kecerdasan digital pendidikan, penyelidikan saintifik

Pada Persidangan Kecerdasan Buatan Dunia 2023 yang diadakan baru-baru ini, storan pengedaran OceanStor Pacific Huawei membantu Universiti Jiao Tong Shanghai membina pangkalan storan HPC+AI yang dilancarkan secara rasmi Pangkalan data bersatu "Turn it over" akan diperluaskan sebanyak 25PB lagi tahun ini . Ia dijangka menjadi penanda aras baharu bagi transformasi pengajaran dan penyelidikan saintifik secara digital dan pintar, dan juga menetapkan satu pencapaian untuk perjalanan meneroka pangkalan baharu untuk penyimpanan data.

Evolusi perhubungan antara data dan kuasa pengkomputeran serta cabaran yang terhasil

Dengan transformasi digital beribu-ribu industri memasuki perairan dalam, dan ledakan terkoordinasi teknologi baru muncul seperti kecerdasan buatan dan data besar, hubungan antara data dan kuasa pengkomputeran sedang mengalami perubahan yang halus.

Dalam era model AI yang besar, pangkalan penyimpanan data baharu menggalakkan peralihan kecerdasan digital pendidikan, penyelidikan saintifik

Bidang pendidikan dan penyelidikan saintifik berada di barisan hadapan ekonomi digital dan agak sensitif terhadap perubahan ini. Pada masa lalu, data perlu mengikut kuasa pengkomputeran. Untuk menangani penyelesaian berangka yang pantas bagi masalah saintifik dan kejuruteraan yang kompleks, komuniti pendidikan dan penyelidikan saintifik telah memberi lebih perhatian kepada cara membina kuasa pengkomputeran yang paling berkuasa untuk masa yang lama, manakala data hanya dianggap sebagai kemudahan sokongan untuk kuasa pengkomputeran.

Kini, "kuasa pengkomputeran berputar di sekitar data" secara beransur-ansur menjadi trend baharu. Kemunculan aplikasi baru muncul, pengembangan volum data, dan penonjolan isu keselamatan data telah memberikan penekanan yang lebih besar pada nilai data itu sendiri. Berdasarkan penemuan dalam AI, data besar dan teknologi lain, pengkomputeran besar tradisional berkembang menjadi pengkomputeran intensif data, dan pelbagai kuasa pengkomputeran heterogen perlu dibina di sekitar pangkalan storan data yang sama.

Lin Xinhua, timbalan pengarah Pusat Maklumat Rangkaian Universiti Jiao Tong Shanghai, percaya bahawa pembalikan penguasaan dalam data dan kuasa pengkomputeran bukan sahaja memberi peluang untuk membina platform superkomputer intensif data, tetapi juga membawa banyak cabaran baharu kepada pembinaan pangkalan storan data yang bersatu .

Pertama sekali, pertumbuhan data yang pesat telah meningkatkan permintaan untuk kapasiti storan dengan ketara. Menurut statistik, skala data platform "Jiaowosuan" telah berkembang pada kadar tahunan 7PB Jumlah data senario aplikasi seperti meteorologi dan oseanografi, penerokaan tenaga, penderiaan jauh satelit, penjujukan gen, mikroskop cryo-elektron, AI. pemanduan autonomi, pembuatan CAE, dan rendering animasi semuanya telah mencapai tahap Petabyte, bukan mudah untuk menggunakan infrastruktur data untuk menampung jumlah data yang begitu besar.

Kedua, perniagaan baharu sentiasa muncul dan memerlukan prestasi storan yang lebih tinggi. Percepatan proses generalisasi AI, terutamanya keluaran kelompok model besar dan pelbagai mod, menimbulkan cabaran teruk kepada prestasi IO. Dengan beratus-ratus terabait set data menjadi kebiasaan, pemprosesan bahasa semula jadi dan aplikasi berbilang modal telah mempercepatkan pertumbuhan volum data, dan akses cekap kepada set data latihan fail kecil memerlukan prestasi storan untuk mencapai tahap yang baharu.

Ketiga, storan berbilang kelompok dikongsi di seluruh kampus, dan aliran data antara kelompok heterogen boleh menyebabkan masalah seperti kehilangan data dan operasi yang perlahan. Platform "Jiaowosuan" menyediakan pelbagai kuasa pengkomputeran heterogen, termasuk kelompok ARM, kelompok X86 dan kelompok AI. Di antara banyak kluster, hanya dengan mencapai aliran data penuh dan integrasi data boleh nilai maksimum kuasa pengkomputeran dan data dikeluarkan.

Akhir sekali, dengan latihan cakera tempatan AI tradisional, bersama dengan analisis data serentak yang tinggi, adalah penting untuk memecahkan dinding IO. Kesesakan IO dalam proses pemindahan data berbilang sangat ketara - proses membaca dan menulis tradisional adalah panjang, memuatkan data melibatkan tiga migrasi data, dan pusat pemeriksaan juga melibatkan dua pemindahan data Kehilangan kecekapan yang disebabkan semasa proses ini tidak boleh diabaikan.

Laluan terobosan pangkalan data bersepadu bersatu storan teragih

Untuk menghadapi cabaran di atas, Shanghai Jiao Tong University dan Huawei Storage telah melancarkan kerjasama yang mendalam sejak 2019 untuk bersama-sama membina platform superkomputer intensif data "serahkan kepada saya". Bergantung pada pengumpulan mendalamnya dalam teknologi dan inovasi aplikasi, produk storan yang diedarkan OceanStor Pacific Huawei membantu "Pengiraan Tuowo" membina pangkalan data bersatu untuk menyokong pelbagai platform kuasa pengkomputeran heterogen di seluruh sekolah.

Dalam era model AI yang besar, pangkalan penyimpanan data baharu menggalakkan peralihan kecerdasan digital pendidikan, penyelidikan saintifik

Membina pangkalan data bersepadu bersepadu yang diedarkan ialah satu-satunya cara untuk "Leave It To Me" untuk menerima aplikasi data yang baru muncul. Berdasarkan seni bina storan teragih berskala mendatar, kapasiti storan dan lebar jalur platform "Jiaowosuan" boleh dikembangkan atas permintaan. Yang pertama ialah pertumbuhan linear dalam kapasiti prestasi, dengan satu kelompok mencapai kapasiti tahap EB yang kedua ialah penggunaan perkakasan berketumpatan tinggi dan berkapasiti besar untuk menjimatkan ruang kabinet; penggunaan cakera dengan pemampatan berasaskan senario.

Difahamkan bahawa platform "Jiaowosuan" akan meningkat daripada kapasiti awal 2PB dan lebar jalur 6GB/s kepada kapasiti 20PB dan lebar jalur 60GB/s pada tahun 2020, dan akan diperluaskan kepada kapasiti 40PB dan lebar jalur 120GB/s pada tahun 2022. Ia adalah dijangka dilancarkan pada 2023 Kapasiti akan diperluaskan lagi sebanyak 25PB. Pada masa yang sama, storan pengedaran OceanStor Pacific Huawei mempunyai reka bentuk ketumpatan ultra tinggi 5U dan 120 slot cakera Digabungkan dengan algoritma perlindungan redundansi data EC berskala besar, ia boleh meningkatkan penggunaan ruang cakera keras kepada 91.6% semasa memenuhi. kebolehpercayaan yang tinggi.

Sokongan perkakasan semua denyar yang diedarkan ialah asas "serahkan kepada saya" untuk menyelesaikan masalah prestasi storan. Dengan bantuan Huawei OceanStor Pacific, platform "Turn it over" menggunakan pecutan perkakasan semua denyar untuk meningkatkan lebar jalur dan prestasi IOPS dengan ketara Setiap nod mempunyai 800,000 IOPS dan lebar jalur 20GB/S, yang boleh memenuhi keperluan prestasi tinggi di bawah. keadaan beban bercampur.

Pengurusan bersatu storan teragih global merentas kampus ialah cara yang baik untuk menyelesaikan masalah perkongsian storan berbilang kelompok. Dengan menggunakan sistem fail global untuk mengurus berbilang set storan merentas domain, platform "Jiaowosuan" membina pangkalan data bersatu merentas kampus Dengan sokongan produk storan teragih Huawei OceanStor Pacific, ia mencapai paparan fail global, pengurusan data dan Penjadualan. aliran data global, metadata penstriman bersatu dan pelbagai matlamat lain.

Pecutan analisis data, kebolehoperasian tanpa kehilangan akses berbilang protokol, dan kecekapan tinggi tanpa penempatan semula adalah alat berkuasa untuk "serahkan kepada saya" untuk memecahkan dinding IO. Berdasarkan penyelesaian storan berorientasikan AI Huawei dan keupayaan storan OceanStor Pacific Huawei yang diedarkan bagi "satu data, diakses oleh pelbagai protokol", platform "Turn it over" merealisasikan storan luaran untuk mengurangkan pemindahan data, meningkatkan kecekapan analisis dan menjimatkan storan. angkasa lepas.

Gambar masa depan HPDA+AI dalam era model besar

Melalui platform "Jiaowosuan" dan trajektori evolusi bekerja dengan Huawei Storage untuk mencipta pangkalan data bersepadu bersepadu teragih baharu, tidak sukar untuk melihat bahawa senario intensif data sedang mempercepatkan evolusi.

Dari HPC awal hingga HPDA kemudian, dan kemudian kepada simbiosis HPDA+AI, senario aplikasi dalam industri pengajaran dan penyelidikan saintifik terus diperkaya, dan permintaan untuk produk penyimpanan dan pangkalan data juga terus melonjak. Malah, pengajaran dan penyelidikan saintifik hanyalah puncak gunung ais dalam proses pendigitalan beribu-ribu industri Era penyimpanan data telah tiba.

Kedatangan era model besar akan membentuk semula infrastruktur IT, termasuk produk storan dengan gen AI baharu dijangka menjadi kegemaran baharu dalam peningkatan digital industri. Pada 14 Julai, persidangan pelancaran produk baharu penyimpanan AI Huawei dalam era model besar, dengan tema "Paradigma Data Baharu Melancarkan Momentum Baharu AI," akan diadakan dalam talian. Sama ada anda menggunakan AI dalam perusahaan anda atau membangunkan aplikasi dengan keupayaan AI, penyelesaian yang dikeluarkan kali ini akan menyediakan seni bina teknikal dan produk yang lebih baik untuk membantu anda mengikuti perkembangan zaman.

Pengertiran kecerdasan buatan telah bermula Pemimpin dalam industri storan telah mendahului dalam membunyikan panggilan yang jelas untuk dicaj.

Atas ialah kandungan terperinci Dalam era model AI yang besar, pangkalan penyimpanan data baharu menggalakkan peralihan kecerdasan digital pendidikan, penyelidikan saintifik. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
2 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Repo: Cara menghidupkan semula rakan sepasukan
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Cara mendapatkan biji gergasi
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Bagaimana untuk membina sistem tadbir urus data berorientasikan AI? Bagaimana untuk membina sistem tadbir urus data berorientasikan AI? Apr 12, 2024 pm 02:31 PM

Dalam beberapa tahun kebelakangan ini, dengan kemunculan model teknologi baharu, penggilapan nilai senario aplikasi dalam pelbagai industri dan peningkatan kesan produk akibat pengumpulan data besar-besaran, aplikasi kecerdasan buatan telah dipancarkan dari bidang seperti penggunaan dan Internet. kepada industri tradisional seperti pembuatan, tenaga, dan elektrik. Kematangan teknologi kecerdasan buatan dan aplikasi dalam perusahaan dalam pelbagai industri dalam pautan utama aktiviti pengeluaran ekonomi seperti reka bentuk, perolehan, pengeluaran, pengurusan, dan jualan sentiasa bertambah baik, mempercepatkan pelaksanaan dan liputan kecerdasan buatan dalam semua pautan, dan secara beransur-ansur mengintegrasikannya dengan perniagaan utama, untuk meningkatkan status perindustrian atau mengoptimumkan kecekapan operasi, dan mengembangkan lagi kelebihannya sendiri. Pelaksanaan berskala besar aplikasi inovatif teknologi kecerdasan buatan telah menggalakkan pembangunan pesat pasaran risikan data besar, dan juga menyuntik daya hidup pasaran ke dalam perkhidmatan tadbir urus data asas. Dengan data besar, pengkomputeran awan dan pengkomputeran

Mengapakah localstorage tidak berjaya menyimpan data? Mengapakah localstorage tidak berjaya menyimpan data? Jan 03, 2024 pm 01:41 PM

Mengapakah menyimpan data ke storan setempat sentiasa gagal? Memerlukan contoh kod khusus Dalam pembangunan bahagian hadapan, kami selalunya perlu menyimpan data pada bahagian penyemak imbas untuk meningkatkan pengalaman pengguna dan memudahkan capaian data seterusnya. Localstorage ialah teknologi yang disediakan oleh HTML5 untuk storan data sebelah pelanggan Ia menyediakan cara mudah untuk menyimpan data dan mengekalkan kegigihan data selepas halaman dimuat semula atau ditutup. Walau bagaimanapun, apabila kami menggunakan storan setempat untuk penyimpanan data, kadangkala

Bagaimana untuk melaksanakan penyimpanan polimorfik dan pertanyaan multidimensi data dalam MySQL? Bagaimana untuk melaksanakan penyimpanan polimorfik dan pertanyaan multidimensi data dalam MySQL? Jul 31, 2023 pm 09:12 PM

Bagaimana untuk melaksanakan penyimpanan polimorfik dan pertanyaan multidimensi data dalam MySQL? Dalam pembangunan aplikasi praktikal, storan polimorfik dan pertanyaan data berbilang dimensi adalah keperluan yang sangat biasa. Sebagai sistem pengurusan pangkalan data hubungan yang biasa digunakan, MySQL menyediakan pelbagai cara untuk melaksanakan storan polimorfik dan pertanyaan berbilang dimensi. Artikel ini akan memperkenalkan kaedah menggunakan MySQL untuk melaksanakan storan polimorfik dan pertanyaan data berbilang dimensi, dan menyediakan contoh kod yang sepadan untuk membantu pembaca memahami dan menggunakannya dengan cepat. 1. Storan polimorfik Storan polimorfik merujuk kepada teknologi menyimpan pelbagai jenis data dalam medan yang sama.

Bagaimana untuk melaksanakan fungsi penyimpanan dan pemprosesan imej data dalam MongoDB Bagaimana untuk melaksanakan fungsi penyimpanan dan pemprosesan imej data dalam MongoDB Sep 22, 2023 am 10:30 AM

Gambaran keseluruhan tentang cara melaksanakan fungsi penyimpanan dan pemprosesan imej data dalam MongoDB: Dalam pembangunan aplikasi data moden, pemprosesan dan penyimpanan imej adalah keperluan biasa. MongoDB, pangkalan data NoSQL yang popular, menyediakan ciri dan alatan yang membolehkan pembangun melaksanakan penyimpanan dan pemprosesan imej pada platformnya. Artikel ini akan memperkenalkan cara melaksanakan fungsi penyimpanan dan pemprosesan imej data dalam MongoDB, dan menyediakan contoh kod khusus. Storan imej: Dalam MongoDB, anda boleh menggunakan GridFS

Apakah jenis fail ialah fail dat? Apakah jenis fail ialah fail dat? Feb 19, 2024 am 11:32 AM

Fail dat ialah format fail data universal yang boleh digunakan untuk menyimpan pelbagai jenis data. fail dat boleh mengandungi bentuk data yang berbeza seperti teks, imej, audio dan video. Ia digunakan secara meluas dalam pelbagai aplikasi dan sistem pengendalian. fail dat biasanya fail binari yang menyimpan data dalam bait dan bukannya teks. Ini bermakna fail dat tidak boleh diubah suai atau kandungannya dilihat terus melalui penyunting teks. Sebaliknya, perisian atau alatan tertentu diperlukan untuk memproses dan menghuraikan data fail dat. d

Dalam era model AI yang besar, pangkalan penyimpanan data baharu menggalakkan peralihan kecerdasan digital pendidikan, penyelidikan saintifik Dalam era model AI yang besar, pangkalan penyimpanan data baharu menggalakkan peralihan kecerdasan digital pendidikan, penyelidikan saintifik Jul 21, 2023 pm 09:53 PM

Generatif AI (AIGC) telah membuka era baharu kecerdasan buatan umum Persaingan di sekitar model besar telah menjadi hebat Infrastruktur pengkomputeran adalah tumpuan utama persaingan, dan kebangkitan kuasa semakin menjadi konsensus industri. Dalam era baharu, model besar bergerak daripada mod tunggal kepada pelbagai mod, saiz parameter dan set data latihan berkembang dengan pesat, dan data tidak berstruktur yang besar memerlukan sokongan keupayaan beban campuran berprestasi tinggi pada masa yang sama; intensif data Paradigma baharu semakin popular, dan senario aplikasi seperti pengkomputeran super dan pengkomputeran berprestasi tinggi (HPC) sedang bergerak secara mendalam Pangkalan storan data sedia ada tidak lagi dapat memenuhi keperluan yang sentiasa dinaik taraf. Jika kuasa pengkomputeran, algoritma dan data adalah "troika" yang memacu pembangunan kecerdasan buatan, maka dalam konteks perubahan besar dalam persekitaran luaran, ketiga-tiganya perlu segera mendapatkan semula dinamik.

Bagaimana untuk menggunakan C++ untuk pemampatan data dan penyimpanan data yang cekap? Bagaimana untuk menggunakan C++ untuk pemampatan data dan penyimpanan data yang cekap? Aug 25, 2023 am 10:24 AM

Bagaimana untuk menggunakan C++ untuk pemampatan data dan penyimpanan data yang cekap? Pengenalan: Apabila jumlah data meningkat, pemampatan data dan penyimpanan data menjadi semakin penting. Dalam C++, terdapat banyak cara untuk mencapai pemampatan dan penyimpanan data yang cekap. Artikel ini akan memperkenalkan beberapa algoritma pemampatan data biasa dan teknologi storan data dalam C++, dan memberikan contoh kod yang sepadan. 1. Algoritma pemampatan data 1.1 Algoritma pemampatan berdasarkan pengekodan Huffman Pengekodan Huffman ialah algoritma pemampatan data berdasarkan pengekodan panjang berubah-ubah. Ia melakukan ini dengan memasangkan aksara dengan frekuensi yang lebih tinggi

Interaksi antara Redis dan Golang: Bagaimana untuk mencapai penyimpanan dan pengambilan data yang cepat Interaksi antara Redis dan Golang: Bagaimana untuk mencapai penyimpanan dan pengambilan data yang cepat Jul 30, 2023 pm 05:18 PM

Interaksi antara Redis dan Golang: Bagaimana untuk mencapai penyimpanan dan pengambilan data yang cepat Pengenalan: Dengan perkembangan pesat Internet, penyimpanan dan pengambilan data telah menjadi keperluan penting dalam pelbagai bidang aplikasi. Dalam konteks ini, Redis telah menjadi perisian tengah storan data yang penting, dan Golang telah menjadi pilihan lebih ramai pembangun kerana prestasi yang cekap dan kesederhanaan penggunaannya. Artikel ini akan memperkenalkan pembaca tentang cara berinteraksi dengan Golang melalui Redis untuk mencapai penyimpanan dan pengambilan data yang pantas. 1.Semula

See all articles