Peranti teknologi
AI
Panduan langkah demi langkah untuk menggunakan Groq Llama 3 70B secara tempatan
Panduan langkah demi langkah untuk menggunakan Groq Llama 3 70B secara tempatan
Penterjemah | Bugatti
Pengulas |.
Semua orang sedang berusaha membina model bahasa besar (LLM) yang lebih baik, seperti Groq memfokuskan pada bahagian infrastruktur AI. Sambutan pantas daripada model besar ini adalah kunci untuk memastikan model besar ini bertindak balas dengan lebih cepat.
Tutorial ini akan memperkenalkan enjin parsing LPU Groq dan cara mengaksesnya secara setempat pada komputer riba anda menggunakan API dan Jan AI. Artikel ini juga akan menyepadukannya ke dalam VSCode untuk membantu kami menjana kod, kod refactor, memasukkan dokumentasi dan menjana unit ujian. Artikel ini akan mencipta pembantu pengaturcaraan kecerdasan buatan kami sendiri secara percuma.
Pengenalan kepada Enjin Inferens LPU Groq
Enjin inferens Groq LPU (Unit Pemprosesan Bahasa) direka untuk menjana respons pantas untuk aplikasi intensif secara pengiraan dengan komponen berjujukan (seperti LLM).
Berbanding dengan CPU dan GPU, LPU mempunyai kuasa pengkomputeran yang lebih berkuasa, yang mengurangkan masa yang diperlukan untuk meramal perkataan dan mempercepatkan penjanaan jujukan teks. Tambahan pula, LPU juga boleh mengendalikan kesesakan memori berbanding GPU, sekali gus memberikan prestasi yang lebih baik pada LLM.
Ringkasnya, teknologi Groq LPU menjadikan LLM anda sangat pantas untuk aplikasi AI masa nyata. Anda mungkin ingin membaca kertas Groq ISCA 2022 (https://wow.groq.com/isca-2022-paper/) untuk mengetahui lebih lanjut tentang seni bina LPU.
Pasang Jan AI
Jan AI ialah aplikasi desktop yang menjalankan model bahasa besar sumber terbuka dan proprietari secara asli. Ia tersedia untuk dimuat turun dalam versi Linux, macOS dan Windows. Kami akan memuat turun Jan AI dan memasangnya dalam Windows Untuk melakukan ini, pergi ke https://github.com/janhq/jan/releases dan klik pada fail dengan sambungan ".exe".
Jika anda ingin menggunakan LLM secara tempatan untuk privasi yang dipertingkatkan, sila baca catatan blog "5 Cara Menggunakan LLM pada Komputer Riba Anda" (https://www.kdnuggets.com/5-ways-to-use- llms-on-your-laptop) dan mula menggunakan model bahasa sumber terbuka yang paling maju.
Buat API Awan Groq
Untuk menggunakan Grog Llama 3 dengan Jan AI, kami memerlukan API. Untuk melakukan ini, kami akan pergi ke https://console.groq.com/ dan membuat akaun Groq Cloud.
Jika anda ingin menguji pelbagai model yang disediakan oleh Groq, anda boleh melakukan ini tanpa sebarang persediaan, cuma pergi ke tab Playground, pilih model, dan tambah input pengguna.
Dalam contoh ini, ia sangat pantas, menjana 310 token sesaat, yang merupakan yang terpantas yang saya lihat setakat ini. Malah Azure AI atau OpenAI tidak boleh mencapai hasil jenis ini.
Untuk menjana kunci API, klik butang "Kunci API" pada panel kiri, kemudian klik butang "Buat Kunci API" untuk mencipta dan menyalin kunci API.
Dalam langkah seterusnya, kami akan menampal kunci API Awan Groq ke dalam aplikasi Jan AI.
Lancarkan aplikasi Jan AI, pergi ke tetapan, pilih pilihan "Groq Inference Engine" dalam bahagian sambungan dan tambah kunci API.
Kemudian, kembali ke tetingkap benang. Dalam bahagian Model, pilih Groq Llama 370B dalam bahagian "Jauh" untuk mula menaip gesaan.
Menggunakan Groq dalam VSCode
Seterusnya, kami akan cuba menampal kunci API yang sama ke dalam sambungan CodeGPT VSCode dan membina pembantu pengaturcaraan AI percuma kami sendiri.
Cari sambungan CodeGPT dalam tab sambungan, pasangkannya.
Tab CodeGPT akan muncul membolehkan anda memilih pembekal model.
Apabila anda memilih Groq sebagai pembekal model, ia akan meminta anda untuk kunci API anda. Hanya tampal kunci API yang sama dan kami bersedia untuk pergi. Anda juga boleh menjana kunci API lain untuk CodeGPT.
Sekarang kami akan memintanya untuk mengekod permainan ular. Ia hanya mengambil masa 10 saat untuk menjana dan menjalankan kod.
Permainan ular kami ditunjukkan di bawah.
Anda juga boleh belajar tentang lima pembantu pengaturcaraan AI teratas (https://www.kdnuggets.com/top-5-ai-coding-assistants-you-must-try) dan menjadi pemacu AI pembangun dan saintis data. Ingat, AI bertujuan untuk membantu kami, bukan menggantikan kami, jadi bersikap terbuka terhadapnya dan gunakannya untuk meningkatkan pengekodan anda.
Kesimpulan
Dalam tutorial ini, kami mempelajari tentang enjin inferens Groq dan cara mengaksesnya secara tempatan menggunakan aplikasi Jan AI Windows. Akhir sekali, kami menyepadukannya ke dalam aliran kerja kami dengan menggunakan sambungan CodeGPT VSCode, yang hebat. Ia menjana respons dalam masa nyata untuk pengalaman pembangunan yang lebih baik.
Tajuk asal: Menggunakan Groq Llama 3 70B Secara Tempatan: Panduan Langkah demi Langkah, pengarang: Abid Ali Awan
Pautan: https://www.kdnuggets.com/using-groq-llama-3-70b-locally-step- panduan langkah demi langkah.
Untuk mengetahui lebih lanjut tentang AIGC, sila layari:
51CTO AI.x Community
https://www.51cto.com/aigc/
Atas ialah kandungan terperinci Panduan langkah demi langkah untuk menggunakan Groq Llama 3 70B secara tempatan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!
Alat AI Hot
Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik
AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.
Undress AI Tool
Gambar buka pakaian secara percuma
Clothoff.io
Penyingkiran pakaian AI
Video Face Swap
Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!
Artikel Panas
Alat panas
Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma
SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan
Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa
Dreamweaver CS6
Alat pembangunan web visual
SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)
Topik panas
Ramalan Harga Worldcoin (WLD) 2025-2031: Adakah WLD akan mencapai $ 4 menjelang 2031?
Apr 21, 2025 pm 02:42 PM
Worldcoin (WLD) menonjol dalam pasaran cryptocurrency dengan mekanisme pengesahan biometrik dan perlindungan privasi yang unik, menarik perhatian banyak pelabur. WLD telah melakukan yang luar biasa di kalangan altcoin dengan teknologi inovatifnya, terutamanya dalam kombinasi dengan teknologi kecerdasan buatan terbuka. Tetapi bagaimanakah aset digital akan berkelakuan dalam beberapa tahun akan datang? Mari kita meramalkan harga masa depan WLD bersama -sama. Ramalan harga WLD 2025 dijangka mencapai pertumbuhan yang signifikan di WLD pada tahun 2025. Analisis pasaran menunjukkan bahawa harga WLD purata boleh mencapai $ 1.31, dengan maksimum $ 1.36. Walau bagaimanapun, dalam pasaran beruang, harga mungkin jatuh ke sekitar $ 0.55. Harapan pertumbuhan ini disebabkan terutamanya oleh WorldCoin2.
Mengapa kenaikan atau kejatuhan harga mata wang maya? Mengapa kenaikan atau kejatuhan harga mata wang maya?
Apr 21, 2025 am 08:57 AM
Faktor kenaikan harga mata wang maya termasuk: 1. Peningkatan permintaan pasaran, 2. Menurunkan bekalan, 3. Berita positif yang dirangsang, 4. Sentimen pasaran optimis, 5. Persekitaran makroekonomi; Faktor penurunan termasuk: 1. Mengurangkan permintaan pasaran, 2. Peningkatan bekalan, 3.
Apakah yang dimaksudkan dengan transaksi rantaian rantaian? Apakah urus niaga salib?
Apr 21, 2025 pm 11:39 PM
Pertukaran yang menyokong urus niaga rantaian: 1. Binance, 2. Uniswap, 3 Sushiswap, 4. Kewangan Curve, 5. Thorchain, 6. 1 inci Pertukaran, 7.
Sepuluh cadangan platform percuma untuk data masa nyata mengenai pasaran bulatan mata wang dikeluarkan
Apr 22, 2025 am 08:12 AM
Platform data cryptocurrency yang sesuai untuk pemula termasuk coinmarketcap dan sangkakala bukan kecil. 1. CoinMarketCap menyediakan harga masa nyata global, nilai pasaran, dan kedudukan volum perdagangan untuk keperluan analisis pemula dan asas. 2. Petikan bukan kecil menyediakan antara muka yang mesra Cina, sesuai untuk pengguna Cina untuk cepat menyaring projek berpotensi berisiko rendah.
Cara Memenangi Ganjaran Airdrop Kernel pada Strategi Proses Penuh Binance
Apr 21, 2025 pm 01:03 PM
Dalam dunia kriptografi yang ramai, peluang baru selalu muncul. Pada masa ini, aktiviti udara Kerneldao (kernel) menarik banyak perhatian dan menarik perhatian banyak pelabur. Jadi, apakah asalnya projek ini? Apakah faedah yang boleh diperoleh oleh pemegang BNB? Jangan risau, perkara berikut akan mendedahkannya satu demi satu untuk anda.
Rexas Finance (RXS) boleh melepasi Solana (SOL), Cardano (ADA), XRP dan Dogecoin (Doge) pada tahun 2025
Apr 21, 2025 pm 02:30 PM
Dalam pasaran cryptocurrency yang tidak menentu, pelabur mencari alternatif yang melampaui mata wang yang popular. Walaupun cryptocurrency yang terkenal seperti Solana (SOL), Cardano (ADA), XRP dan Dogecoin (Doge) juga menghadapi cabaran seperti sentimen pasaran, ketidakpastian dan skalabiliti pengawalseliaan. Walau bagaimanapun, projek baru muncul, Rexasfinance (RXS), sedang muncul. Ia tidak bergantung kepada kesan selebriti atau gembar-gembur, tetapi memberi tumpuan kepada menggabungkan aset dunia nyata (RWA) dengan teknologi blockchain untuk menyediakan pelabur dengan cara yang inovatif untuk melabur. Strategi ini menjadikannya sebagai salah satu projek yang paling berjaya pada tahun 2025. Rexasfi
Aavenomics adalah cadangan untuk mengubah suai token protokol AAVE dan memperkenalkan pembelian semula token, yang telah mencapai bilangan kuorum orang.
Apr 21, 2025 pm 06:24 PM
Aavenomics adalah cadangan untuk mengubah token protokol AAVE dan memperkenalkan repos token, yang telah melaksanakan kuorum untuk Aavedao. Marc Zeller, pengasas Rantaian Projek AAVE (ACI), mengumumkan ini pada X, dengan menyatakan bahawa ia menandakan era baru untuk perjanjian itu. Marc Zeller, pengasas Inisiatif Rantaian AAVE (ACI), mengumumkan pada X bahawa cadangan aavenomik termasuk mengubah token protokol AAVE dan memperkenalkan repos token, telah mencapai kuorum untuk Aavedao. Menurut Zeller, ini menandakan era baru untuk perjanjian itu. Ahli -ahli Aavedao mengundi untuk menyokong cadangan itu, yang 100 seminggu pada hari Rabu
Apakah carta analisis struktur produk bitcoin? Bagaimana melukis?
Apr 21, 2025 pm 07:42 PM
Langkah -langkah untuk menarik carta analisis struktur bitcoin termasuk: 1. Tentukan tujuan dan penonton lukisan, 2 Pilih alat yang betul, 3. Reka bentuk rangka kerja dan isikan komponen teras, 4. Langkah -langkah lengkap memastikan bahawa carta adalah tepat dan mudah difahami.
