Sky-T1: $ 450 LLM Mencabar GPT-4O & DeepSeek v3

Pasukan Novasky UC Berkeley telah mencapai prestasi terobosan di dunia AI, melancarkan Sky-T1-32B-Preview-model penalaran sumber yang sangat berpatutan dan penuh. Model ini menyaingi prestasi model komersil terkemuka seperti GPT-4 dan O1, namun kos latihannya berada di bawah $ 450. Ini secara dramatik mengurangkan belanjawan berjuta-juta dolar yang biasanya dikaitkan dengan pembangunan AI yang maju.

Kebolehcapaian Sky-T1-32B-Preview adalah aspek yang paling penting. Seluruh projek -data, kod, dan berat model -tersedia secara terbuka, memberi kuasa kepada penyelidik, ahli akademik, dan peminat untuk menyumbang kepada peningkatannya dan seterusnya pendemokrasian AI.

Apa yang menetapkan Sky-T1-32B-Preview selain?

Tidak seperti banyak model berprestasi tinggi yang kerja dalamannya tetap proprietari, Sky-T1-32B-Preview menawarkan ketelusan lengkap. Prestasi yang luar biasa dalam kedua -dua penalaran matematik dan tugas pengekodan sangat penting.

Penciptaan Sky-T1-32B-Preview:

Proses pembangunan melibatkan beberapa langkah utama:

1. Curation data yang ketat:

   pelbagai dataset yang merangkumi matematik, pengekodan, sains, dan teka -teki dengan teliti dikumpulkan dan ditapis menggunakan teknik seperti pensampelan penolakan untuk memastikan kualiti data. Data memformat semula ketepatan yang dipertingkatkan lagi.

2. Latihan yang cekap:

   Pasukan ini menyempurnakan model QWEN-2.5-32B sumber terbuka menggunakan dataset yang disediakan. Proses latihan, yang disiapkan hanya dalam 19 jam pada lapan GPU mewah, menyoroti kecekapan pendekatan mereka.

3. Data Latihan Balanced:

   Faktor kejayaan utama adalah keseimbangan yang teliti antara masalah matematik dan pengekodan dalam data latihan, membolehkan model untuk unggul di kedua -dua kawasan.

Hasil penanda aras:

prestasi Sky-T1-32B-Preview adalah luar biasa di pelbagai tanda aras:

Matematik:
• mencapai ketepatan 82.4% pada Math500 dan 43.3% pada AIME2024, kompetitif dengan model komersil teratas. pengekodan:
menjaringkan 86.3% pada LiveCodeBench-Easy, menunjukkan kemahiran dalam tugas pengekodan kompleks.

Penemuan Utama:

Kepelbagaian data adalah kunci:

Campuran data matematik dan pengekodan seimbang sangat penting untuk kejayaan model.

• Saiz model optimum: Eksperimen menunjukkan bahawa model parameter 32B adalah saiz optimum untuk mencapai keupayaan penalaran maju.
• Masa Depan Penalaran Sumber Terbuka:

Sky-T1-32B-Preview mewakili langkah penting ke hadapan, dan Novasky merancang untuk meneruskan kecekapan dan ketepatan model penapisan. Komitmen mereka untuk pembangunan sumber terbuka memupuk kerjasama dan mempercepatkan kemajuan dalam bidang.

Sumber:

• [pautan ke kod]
• [Laporan Teknikal]
• [berat model]

Kesimpulan:

Pencapaian Novasky mencabar paradigma yang ditubuhkan dari pembangunan AI yang mahal dan tertutup. Dengan menunjukkan bahawa model berprestasi tinggi boleh diwujudkan dengan mudah dan terbuka, mereka mendemokrasikan akses kepada teknologi AI canggih dan memupuk persekitaran penyelidikan yang lebih inklusif dan kolaboratif.

Atas ialah kandungan terperinci Sky-T1: $ 450 LLM Mencabar GPT-4O & DeepSeek v3. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!