Jadual Kandungan
Penguatan mendalam + latihan tambahan berbilang peringkat
Siri Yi mempunyai keupayaan pengekodan dan matematik terkuat
Rumah Peranti teknologi AI Kad grafik gred pengguna tersedia! Li Kaifu mengeluarkan dan membuka sumber model Yi 9 bilion parameter, yang mempunyai keupayaan matematik kod terkuat dalam sejarah

Kad grafik gred pengguna tersedia! Li Kaifu mengeluarkan dan membuka sumber model Yi 9 bilion parameter, yang mempunyai keupayaan matematik kod terkuat dalam sejarah

Mar 07, 2024 pm 05:50 PM
data Model

Syarikat AI Kai-Fu Lee, Zero One, mempunyai seorang lagi pemain model besar di tempat kejadian:

9 bilion parameter Yi-9B.

Kad grafik gred pengguna tersedia! Li Kaifu mengeluarkan dan membuka sumber model Yi 9 bilion parameter, yang mempunyai keupayaan matematik kod terkuat dalam sejarah

Ia dikenali sebagai "Juara Sains" dalam siri Yi Ia "menebus" matematik kod tanpa ketinggalan dalam keupayaan komprehensif.

Berprestasi terbaik antara satu siri model sumber terbuka skala yang serupa (termasuk Mistral-7B, SOLAR-10.7B, Gemma-7B, DeepSeek-Coder-7B-Base-v1.5, dll.) .

Peraturan lama, keluaran bermaksud sumber terbuka, terutamanya mesra kepada pembangun:

Yi-9B (BF 16) dan versi kuantitatifnya Yi-9B (Int8) boleh digunakan pada kad grafik gred pengguna

RTX 4090 atau RTX 3090 sudah memadai.

Kad grafik gred pengguna tersedia! Li Kaifu mengeluarkan dan membuka sumber model Yi 9 bilion parameter, yang mempunyai keupayaan matematik kod terkuat dalam sejarah

Penguatan mendalam + latihan tambahan berbilang peringkat

Keluarga Yi Zero One Thousand Things sebelum ini telah mengeluarkan siri Yi-6B dan Yi-34B.

Kedua-dua mereka telah dilatih terlebih dahulu pada data Cina dan Inggeris token 3.1T, dan Yi-9B telah dilatih atas dasar ini dengan menambah token 0.8T.

Tarikh akhir untuk data ialah Jun 2023.

Telah disebut pada mulanya bahawa peningkatan terbesar Yi-9B terletak pada matematik dan pengekodan, jadi bagaimanakah kedua-dua kebolehan ini boleh dipertingkatkan?

Pengenalan Sifar Satu Ribu Perkara:

Hanya menambah jumlah data tidak dapat memenuhi jangkaan.

bergantung pada mula-mula meningkatkan saiz model kepada 9B berdasarkan Yi-6B, dan kemudian melakukan latihan tambahan data berbilang peringkat .

Pertama sekali, bagaimana untuk meningkatkan saiz model?

Satu premis ialah pasukan yang ditemui melalui analisis:

Yi-6B telah dilatih sepenuhnya, dan kesan latihan mungkin tidak bertambah baik tidak kira berapa banyak lagi token yang ditambahkan, jadi ia dianggap untuk mengembangkan saiznya. (Unit dalam gambar di bawah bukan TB tetapi B)

Kad grafik gred pengguna tersedia! Li Kaifu mengeluarkan dan membuka sumber model Yi 9 bilion parameter, yang mempunyai keupayaan matematik kod terkuat dalam sejarah

Bagaimana untuk meningkatkannya? Jawapannya ialah penguatan mendalam.

Pengenalan kepada Zero One Thousand Things:

Memperluaskan lebar model asal akan membawa lebih banyak kehilangan prestasi Selepas penguatan kedalaman model dengan memilih lapisan yang sesuai, kosinus input/output lapisan baharu akan lebih hampir kepada 1.0. , iaitu, lebih banyak prestasi model yang dikuatkan dapat mengekalkan prestasi model asal, semakin kecil kehilangan prestasi model.

Mengikut idea ini, Zero Yiwu memilih untuk menyalin 16 lapisan yang agak belakang (lapisan 12-28) Yi-6B untuk membentuk 48 lapisan Yi-9B.

Eksperimen menunjukkan bahawa kaedah ini mempunyai prestasi yang lebih baik daripada menggunakan model Solar-10.7B untuk menyalin 16 lapisan tengah (lapisan 8-24) .

Kedua, apakah kaedah latihan pelbagai peringkat?

Jawapannya ialah tambahkan dahulu data 0.4T yang mengandungi teks dan kod, tetapi nisbah data adalah sama dengan Yi-6B.

Kemudian tambahkan lagi 0.4T data, yang juga termasuk teks dan kod, tetapi memfokuskan pada meningkatkan perkadaran kod dan data matematik.

(Difahamkan, ia sama seperti helah kami "berfikir langkah demi langkah" dalam bertanya soalan tentang model besar)

Selepas dua langkah ini selesai, pasukan masih merujuk kepada dua kertas (An Empirical Model of Large- Latihan Kelompok dan Jangan Merosot Kadar Pembelajaran, Tingkatkan Saiz Kelompok), dan mengoptimumkan kaedah pelarasan parameter.

Maksudnya, bermula dari kadar pembelajaran tetap, setiap kali kehilangan model berhenti menurun, saiz kelompok dipertingkatkan supaya penurunan tidak terganggu dan model belajar dengan lebih lengkap.

Akhirnya, Yi-9B sebenarnya mengandungi sejumlah 8.8 bilion parameter, mencapai panjang konteks 4k.

Siri Yi mempunyai keupayaan pengekodan dan matematik terkuat

Dalam ujian sebenar, Zero Yiwu menggunakan kaedah penjanaan penyahkodan tamak (iaitu, memilih perkataan dengan nilai kebarangkalian tertinggi setiap kali) untuk ujian.

Model yang mengambil bahagian ialah DeepSeek-Coder, DeepSeek-Math, Mistral-7B, SOLAR-10.7B dan Gemma-7B:

(1)DeepSeek-Coder, daripada syarikat carian dalam domestik, arahan 33B Penilaian manusia bagi versi yang ditala melebihi GPT-3.5-turbo, dan prestasi versi 7B boleh mencapai prestasi CodeLlama-34B.

DeepSeek-Math adalah bergantung pada parameter 7B untuk membatalkan GPT-4, mengejutkan seluruh komuniti sumber terbuka.

(2)SOLAR-10.7BUpstage AI dari Korea Selatan, lahir pada Disember 2023, mengatasi Mixtral-8x7B-Instruct dalam prestasi.

(3)Mistral-7B ialah model besar KPM sumber terbuka pertama, mencapai atau bahkan melepasi tahap Llama 2 70B dan GPT-3.5.

(4)Gemma-7BDari Google, Zero One Wanwu menegaskan:

Jumlah parameter berkesan sebenarnya pada tahap yang sama dengan Yi-9B.

(Standard penamaan kedua-duanya adalah berbeza. Yang pertama hanya menggunakan parameter Non-Embedding, manakala yang kedua menggunakan semua parameter dan membulatkannya)

Kad grafik gred pengguna tersedia! Li Kaifu mengeluarkan dan membuka sumber model Yi 9 bilion parameter, yang mempunyai keupayaan matematik kod terkuat dalam sejarah

Hasilnya adalah seperti berikut.

Pertama sekali, dari segi tugas pengekodan, prestasi Yi-9B adalah yang kedua selepas DeepSeek-Coder-7B, dan empat yang lain semuanya KO.

Kad grafik gred pengguna tersedia! Li Kaifu mengeluarkan dan membuka sumber model Yi 9 bilion parameter, yang mempunyai keupayaan matematik kod terkuat dalam sejarah

Dari segi keupayaan matematik, prestasi Yi-9B berada di tempat kedua selepas DeepSeek-Math-7B, mengatasi empat yang lain.

Kad grafik gred pengguna tersedia! Li Kaifu mengeluarkan dan membuka sumber model Yi 9 bilion parameter, yang mempunyai keupayaan matematik kod terkuat dalam sejarah

Keupayaan keseluruhan juga tidak teruk.

Prestasinya adalah yang terbaik dalam kalangan model sumber terbuka dengan saiz yang sama, mengatasi semua lima pemain lain.

Kad grafik gred pengguna tersedia! Li Kaifu mengeluarkan dan membuka sumber model Yi 9 bilion parameter, yang mempunyai keupayaan matematik kod terkuat dalam sejarah

Akhirnya, kebolehan akal dan penaakulan diuji:

Hasilnya ialah Yi-9B setanding dengan Mistral-7B, SOLAR-10.7B dan Gemma-7B.

Dan kebolehan bahasa, bukan sahaja bahasa Inggeris yang bagus, tetapi bahasa Cina juga dipuji ramai:

Kad grafik gred pengguna tersedia! Li Kaifu mengeluarkan dan membuka sumber model Yi 9 bilion parameter, yang mempunyai keupayaan matematik kod terkuat dalam sejarah

Akhirnya, selepas membaca ini, beberapa netizen berkata: Saya tidak sabar untuk mencubanya.

Kad grafik gred pengguna tersedia! Li Kaifu mengeluarkan dan membuka sumber model Yi 9 bilion parameter, yang mempunyai keupayaan matematik kod terkuat dalam sejarah

Sesetengah orang bimbang tentang DeepSeek:

Cepat dan kuatkan "permainan" anda. Penguasaan total telah hilang==

Kad grafik gred pengguna tersedia! Li Kaifu mengeluarkan dan membuka sumber model Yi 9 bilion parameter, yang mempunyai keupayaan matematik kod terkuat dalam sejarah

Portal ada di sini: https://huggingface.co/01-ai/Yi-9B

Atas ialah kandungan terperinci Kad grafik gred pengguna tersedia! Li Kaifu mengeluarkan dan membuka sumber model Yi 9 bilion parameter, yang mempunyai keupayaan matematik kod terkuat dalam sejarah. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
2 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Repo: Cara menghidupkan semula rakan sepasukan
1 bulan yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Cara mendapatkan biji gergasi
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Sumber terbuka! Di luar ZoeDepth! DepthFM: Anggaran kedalaman monokular yang cepat dan tepat! Sumber terbuka! Di luar ZoeDepth! DepthFM: Anggaran kedalaman monokular yang cepat dan tepat! Apr 03, 2024 pm 12:04 PM

0. Apakah fungsi artikel ini? Kami mencadangkan DepthFM: model anggaran kedalaman monokular generatif yang serba boleh dan pantas. Sebagai tambahan kepada tugas anggaran kedalaman tradisional, DepthFM juga menunjukkan keupayaan terkini dalam tugas hiliran seperti mengecat kedalaman. DepthFM cekap dan boleh mensintesis peta kedalaman dalam beberapa langkah inferens. Mari kita baca karya ini bersama-sama ~ 1. Tajuk maklumat kertas: DepthFM: FastMonocularDepthEstimationwithFlowMatching Pengarang: MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

Model MoE sumber terbuka paling berkuasa di dunia ada di sini, dengan keupayaan bahasa Cina setanding dengan GPT-4, dan harganya hanya hampir satu peratus daripada GPT-4-Turbo Model MoE sumber terbuka paling berkuasa di dunia ada di sini, dengan keupayaan bahasa Cina setanding dengan GPT-4, dan harganya hanya hampir satu peratus daripada GPT-4-Turbo May 07, 2024 pm 04:13 PM

Bayangkan model kecerdasan buatan yang bukan sahaja mempunyai keupayaan untuk mengatasi pengkomputeran tradisional, tetapi juga mencapai prestasi yang lebih cekap pada kos yang lebih rendah. Ini bukan fiksyen sains, DeepSeek-V2[1], model MoE sumber terbuka paling berkuasa di dunia ada di sini. DeepSeek-V2 ialah gabungan model bahasa pakar (MoE) yang berkuasa dengan ciri-ciri latihan ekonomi dan inferens yang cekap. Ia terdiri daripada 236B parameter, 21B daripadanya digunakan untuk mengaktifkan setiap penanda. Berbanding dengan DeepSeek67B, DeepSeek-V2 mempunyai prestasi yang lebih kukuh, sambil menjimatkan 42.5% kos latihan, mengurangkan cache KV sebanyak 93.3% dan meningkatkan daya pemprosesan penjanaan maksimum kepada 5.76 kali. DeepSeek ialah sebuah syarikat yang meneroka kecerdasan buatan am

KAN, yang menggantikan MLP, telah diperluaskan kepada konvolusi oleh projek sumber terbuka KAN, yang menggantikan MLP, telah diperluaskan kepada konvolusi oleh projek sumber terbuka Jun 01, 2024 pm 10:03 PM

Awal bulan ini, penyelidik dari MIT dan institusi lain mencadangkan alternatif yang sangat menjanjikan kepada MLP - KAN. KAN mengatasi MLP dari segi ketepatan dan kebolehtafsiran. Dan ia boleh mengatasi prestasi MLP berjalan dengan bilangan parameter yang lebih besar dengan bilangan parameter yang sangat kecil. Sebagai contoh, penulis menyatakan bahawa mereka menggunakan KAN untuk menghasilkan semula keputusan DeepMind dengan rangkaian yang lebih kecil dan tahap automasi yang lebih tinggi. Khususnya, MLP DeepMind mempunyai kira-kira 300,000 parameter, manakala KAN hanya mempunyai kira-kira 200 parameter. KAN mempunyai asas matematik yang kukuh seperti MLP berdasarkan teorem penghampiran universal, manakala KAN berdasarkan teorem perwakilan Kolmogorov-Arnold. Seperti yang ditunjukkan dalam rajah di bawah, KAN telah

Hello, Atlas elektrik! Robot Boston Dynamics hidup semula, gerakan pelik 180 darjah menakutkan Musk Hello, Atlas elektrik! Robot Boston Dynamics hidup semula, gerakan pelik 180 darjah menakutkan Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas secara rasmi memasuki era robot elektrik! Semalam, Atlas hidraulik hanya "menangis" menarik diri daripada peringkat sejarah Hari ini, Boston Dynamics mengumumkan bahawa Atlas elektrik sedang berfungsi. Nampaknya dalam bidang robot humanoid komersial, Boston Dynamics berazam untuk bersaing dengan Tesla. Selepas video baharu itu dikeluarkan, ia telah pun ditonton oleh lebih sejuta orang dalam masa sepuluh jam sahaja. Orang lama pergi dan peranan baru muncul. Ini adalah keperluan sejarah. Tidak dinafikan bahawa tahun ini adalah tahun letupan robot humanoid. Netizen mengulas: Kemajuan robot telah menjadikan majlis pembukaan tahun ini kelihatan seperti manusia, dan tahap kebebasan adalah jauh lebih besar daripada manusia Tetapi adakah ini benar-benar bukan filem seram? Pada permulaan video, Atlas berbaring dengan tenang di atas tanah, seolah-olah terlentang. Apa yang berikut adalah rahang-jatuh

Apr 09, 2024 am 11:52 AM

AI memang mengubah matematik. Baru-baru ini, Tao Zhexuan, yang telah mengambil perhatian terhadap isu ini, telah memajukan keluaran terbaru "Buletin Persatuan Matematik Amerika" (Buletin Persatuan Matematik Amerika). Memfokuskan pada topik "Adakah mesin akan mengubah matematik?", ramai ahli matematik menyatakan pendapat mereka Seluruh proses itu penuh dengan percikan api, tegar dan menarik. Penulis mempunyai barisan yang kuat, termasuk pemenang Fields Medal Akshay Venkatesh, ahli matematik China Zheng Lejun, saintis komputer NYU Ernest Davis dan ramai lagi sarjana terkenal dalam industri. Dunia AI telah berubah secara mendadak Anda tahu, banyak artikel ini telah dihantar setahun yang lalu.

Daya hidup kecerdasan super membangkitkan! Tetapi dengan kedatangan AI yang mengemas kini sendiri, ibu tidak perlu lagi bimbang tentang kesesakan data Daya hidup kecerdasan super membangkitkan! Tetapi dengan kedatangan AI yang mengemas kini sendiri, ibu tidak perlu lagi bimbang tentang kesesakan data Apr 29, 2024 pm 06:55 PM

Saya menangis hingga mati. Dunia sedang membina model besar. Data di Internet tidak mencukupi. Model latihan kelihatan seperti "The Hunger Games", dan penyelidik AI di seluruh dunia bimbang tentang cara memberi makan data ini kepada pemakan yang rakus. Masalah ini amat ketara dalam tugas berbilang modal. Pada masa mereka mengalami kerugian, pasukan pemula dari Jabatan Universiti Renmin China menggunakan model baharu mereka sendiri untuk menjadi yang pertama di China untuk menjadikan "suapan data yang dijana model itu sendiri" menjadi kenyataan. Selain itu, ia merupakan pendekatan serampang dua mata dari segi pemahaman dan sisi penjanaan Kedua-dua pihak boleh menjana data baharu berbilang modal yang berkualiti tinggi dan memberikan maklum balas data kepada model itu sendiri. Apakah model? Awaker 1.0, model berbilang modal besar yang baru sahaja muncul di Forum Zhongguancun. Siapa pasukan itu? Enjin Sophon. Diasaskan oleh Gao Yizhao, pelajar kedoktoran di Sekolah Kecerdasan Buatan Hillhouse Universiti Renmin.

Kelajuan Internet Data Selular Perlahan pada iPhone: Pembetulan Kelajuan Internet Data Selular Perlahan pada iPhone: Pembetulan May 03, 2024 pm 09:01 PM

Menghadapi ketinggalan, sambungan data mudah alih perlahan pada iPhone? Biasanya, kekuatan internet selular pada telefon anda bergantung pada beberapa faktor seperti rantau, jenis rangkaian selular, jenis perayauan, dsb. Terdapat beberapa perkara yang boleh anda lakukan untuk mendapatkan sambungan Internet selular yang lebih pantas dan boleh dipercayai. Betulkan 1 – Paksa Mulakan Semula iPhone Kadangkala, paksa memulakan semula peranti anda hanya menetapkan semula banyak perkara, termasuk sambungan selular. Langkah 1 – Hanya tekan kekunci naikkan kelantangan sekali dan lepaskan. Seterusnya, tekan kekunci Turun Kelantangan dan lepaskannya semula. Langkah 2 - Bahagian seterusnya proses adalah untuk menahan butang di sebelah kanan. Biarkan iPhone selesai dimulakan semula. Dayakan data selular dan semak kelajuan rangkaian. Semak semula Betulkan 2 – Tukar mod data Walaupun 5G menawarkan kelajuan rangkaian yang lebih baik, ia berfungsi lebih baik apabila isyarat lemah

Tentera Udara A.S. mempamerkan jet pejuang AI pertamanya dengan profil tinggi! Menteri secara peribadi menjalankan pandu uji tanpa campur tangan semasa keseluruhan proses, dan 100,000 baris kod telah diuji selama 21 kali. Tentera Udara A.S. mempamerkan jet pejuang AI pertamanya dengan profil tinggi! Menteri secara peribadi menjalankan pandu uji tanpa campur tangan semasa keseluruhan proses, dan 100,000 baris kod telah diuji selama 21 kali. May 07, 2024 pm 05:00 PM

Baru-baru ini, bulatan tentera telah terharu dengan berita: jet pejuang tentera AS kini boleh melengkapkan pertempuran udara automatik sepenuhnya menggunakan AI. Ya, baru-baru ini, jet pejuang AI tentera AS telah didedahkan buat pertama kali, mendedahkan misterinya. Nama penuh pesawat pejuang ini ialah Variable Stability Simulator Test Aircraft (VISTA). Ia diterbangkan sendiri oleh Setiausaha Tentera Udara AS untuk mensimulasikan pertempuran udara satu lawan satu. Pada 2 Mei, Setiausaha Tentera Udara A.S. Frank Kendall berlepas menggunakan X-62AVISTA di Pangkalan Tentera Udara Edwards Ambil perhatian bahawa semasa penerbangan selama satu jam, semua tindakan penerbangan telah diselesaikan secara autonomi oleh AI! Kendall berkata - "Sejak beberapa dekad yang lalu, kami telah memikirkan tentang potensi tanpa had pertempuran udara-ke-udara autonomi, tetapi ia sentiasa kelihatan di luar jangkauan." Namun kini,

See all articles