現在位置:ホームページ > 技術記事 > テクノロジー周辺機器 > AI
- 方向:
- 全て ウェブ3.0 バックエンド開発 ウェブフロントエンド データベース 運用・保守 開発ツール PHPフレームワーク 毎日のプログラミング WeChat アプレット よくある問題 他の 技術 CMS チュートリアル Java システムチュートリアル コンピューターのチュートリアル ハードウェアチュートリアル モバイルチュートリアル ソフトウェアチュートリアル モバイル ゲームのチュートリアル
- 分類する:
-
- ベアメタルから 700 億のパラメータを備えた大規模モデルまで、チュートリアルとすぐに使えるスクリプトがここにあります
- LLM が大量のデータを使用して大規模なコンピューター クラスターでトレーニングされていることはわかっています。このサイトでは、LLM トレーニング プロセスを支援および改善するために使用される多くの方法とテクノロジが紹介されています。今日、私たちが共有したいのは、基礎となるテクノロジーを深く掘り下げ、オペレーティング システムさえ持たない大量の「ベア メタル」を LLM のトレーニング用のコンピューター クラスターに変える方法を紹介する記事です。この記事は、機械がどのように考えるかを理解することで一般的な知能の実現に努めている AI スタートアップ企業 Imbue によるものです。もちろん、オペレーティング システムを持たない大量の「ベア メタル」を LLM をトレーニングするためのコンピューター クラスターに変換することは、探索と試行錯誤に満ちた簡単なプロセスではありませんが、Imbue は最終的に 700 億のパラメータを備えた LLM のトレーニングに成功しました。プロセスが蓄積する
- AI 783 2024-07-24 20:13:31
-
- GPT-4o を打ち破るオープンソース モデルを作成するにはどうすればよいでしょうか? Llama 3.1 405B については、この論文にメタが書かれています
- 2 日前の「誤ったリーク」の後、Llama 3.1 は昨夜ついに正式にリリースされました。 Llama3.1 はコンテキスト長を 128K まで拡張し、8B、70B、405B の 3 つのバージョンを備えており、大型モデル トラックの競争力基準を再び単独で引き上げています。 AI コミュニティにとって、Llama3.1405B の最も重要な意義は、オープンソースの基本モデルの機能の上限を更新することであり、一連のタスクにおいてそのパフォーマンスは最高のクローズドモデルに匹敵するとメタ関係者は述べています。ソースモデル。以下の表は、主要なベンチマークにおける現在の Llama3 シリーズ モデルのパフォーマンスを示しています。 405B モデルのパフォーマンスは GPT-4o のパフォーマンスに非常に近いことがわかります。同時にMetaは「TheLlam」を発表
- AI 1085 2024-07-24 18:42:03
-
- ジョージア工科大学と清華大学のチームは、新しいエネルギー貯蔵材料の発見を支援するために AI を使用したと、Nature サブジャーナルに掲載されました。
- 編集者 | 大根の皮の静電コンデンサは、防衛、航空、エネルギー、輸送の分野における先進的な電力システムの重要なエネルギー貯蔵コンポーネントです。エネルギー密度は静電コンデンサの性能指数であり、主に誘電体材料の選択によって決まります。ほとんどの工業グレードのポリマー誘電体材料は、高エネルギー密度または高い熱安定性のいずれかを提供する柔軟なポリオレフィンまたは硬質芳香族化合物ですが、両方を提供するわけではありません。ここでは、ジョージア工科大学、コネチカット大学、清華大学の研究チームが、人工知能 (AI)、高分子化学、分子工学を利用して、ポリノルボルネンおよびポリイミド シリーズの 1 つを発見しました。
- AI 446 2024-07-24 17:42:52
-
- ニューラル ネットワークには空間認識もあります。 Minecraft でマップを作成する方法を学び、Nature サブマガジンに掲載
- ニューラルネットワークが独自のマップを作成できることを人類が実証したのはこれが初めてだ。最初は周囲の環境が馴染みがなくても、最終的には相互に影響し合う建物、道路、標識などを含む環境の地図を脳内に描くことができます。それらの間の位置関係。脳内で空間マップを構築するこの能力は、人間の高次タイプの認知の基礎となっています。たとえば、言語は脳内のマップ状構造によってエンコードされると理論化されています。ただし、最先端の人工知能やニューラル ネットワークでも、何もないところからそのような地図を構築することはできません。 「最先端のものであっても、
- AI 700 2024-07-24 09:38:12
-
- GPT4o レベルを超える初のオープンソース モデル! Llama 3.1 がリーク: 4,050 億のパラメータ、ダウンロード リンク、モデル カードが利用可能
- GPUを準備しましょう!ついにLlama3.1が登場しましたが、ソースはMeta公式ではありません。今日、新しい Llama 大型モデルのリーク ニュースが Reddit で話題になり、基本モデルに加えて、8B、70B、最大パラメータ 405B のベンチマーク結果も含まれています。以下の図は、Llama3.1 の各バージョンと OpenAIGPT-4o および Llama38B/70B の比較結果を示しています。 70B バージョンでも複数のベンチマークで GPT-4o を上回っていることがわかります。画像ソース: https://x.com/mattshumer_/status/1815444612414087294 明らかに、8B と 70 のバージョン 3.1
- AI 1295 2024-07-23 20:51:33
-
- ECCV 2024|Meituと中国国立科学技術大学が共同提案したブラインドビデオのちらつき除去の一般的な手法「BlazeBVD」が登場
- AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com 近年、ショートビデオのエコシステムが急速に台頭しており、Meitu Company が所有するプロ仕様のモバイルビデオ編集ツールである Wink が次々と登場しています。独自のビデオ品質復元機能で業界をリードし、国内外で使用されています
- AI 438 2024-07-23 15:13:34
-
- Xiaomiが投資した具現化インテリジェントロボット企業と溶接大手が戦略的提携を正式発表
- 最近、シャオミグループが投資した最初の具現化インテリジェンス企業である「シャオユウ・インテリジェント・マニュファクチャリング」は、業界大手パナソニックの合弁会社である唐山パナソニックと大規模な戦略的提携に達し、先進的な大型モデルのインテリジェント溶接ロボットの共同開発を目指している。 7月18日、唐山パナソニック産業用ロボット有限公司(以下「唐山パナソニック」)と北京暁宇智能製造技術有限公司(以下「暁宇智能製造」)との戦略提携調印式が行われた。 )は唐山パナソニック本社で無事完了しました。調印式には、パナソニック産機株式会社の橋山雄一郎部長、劉正副部長、小宇インテリジェントマニュファクチャリングの創業者兼CEOの喬忠良氏、共同創業者兼副社長の李伝氏らが出席し、両社は熱意を表明した。この協力のために送信します
- AI 475 2024-07-23 14:50:54
-
- 無制限のビデオ生成、計画と意思決定、次のトークン予測とフルシーケンス拡散の拡散強制統合
- 現在、次のトークン予測パラダイムを使用した自己回帰大規模言語モデルが世界中で普及していると同時に、インターネット上の多数の合成画像やビデオがすでに拡散モデルの威力を示しています。最近、MITCSAIL の研究チーム (そのうちの 1 人は MIT の博士課程学生、Chen Boyuan です) は、全系列拡散モデルとネクスト トークン モデルの強力な機能を統合することに成功し、トレーニングおよびサンプリング パラダイムである拡散強制 (DF) を提案しました。 )。論文タイトル:DiffusionForcing:Next-tokenPredictionMeetsFull-SequenceDiffusion 論文アドレス:https:/
- AI 1164 2024-07-23 14:05:21
-
- 「アリババスター」の後、アリババ桃天は最高の技術人材の採用を再開し、年収100万を標準とした
- 7月22日、アリババ桃天グループの「トップ人材向けTスタープログラム」が正式に開始された。このプロジェクトは、これらの「天才ティーンエイジャー」に最高の技術トピック、コンピューティング リソース、研究開発プラットフォーム リソース、年収 100 万からスタートできる一流の人材を提供するために、世界の最先端テクノロジー分野から競争力のある学術的および実践的な専門家を募集します。そして、宇宙を成長させる「ビッグボス」によって独占的に訓練されています。記者は、T-Star計画が2011年に始まった「Alibaba Star」計画の継続であり、その目的は最も若い優秀な技術人材を誘致することであることを知った。以前は、採用される人材のほとんどは博士号や副社長レベルでした。
- AI 900 2024-07-22 21:20:23
-
- ICML 2024 口頭 | DPO は PPO よりも LLM に適しているか?
- AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。送信メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com Wu Yi は、清華大学学際情報研究所の助教授であり、OpenAI の常勤研究者でした。 、人間とコンピューターの相互作用、ロボット学習。 2019年にカリフォルニア大学バークレー校でスチュー氏の指導のもと博士号を取得。
- AI 402 2024-07-22 18:41:23
-
- AIイメージングの新基準、元データのわずか1%で最高のパフォーマンスを達成できる、一般医療基本モデルがNatureサブジャーナルに掲載
- Editor | Cabbage Leaf の大規模に事前トレーニングされた基本モデルは、非医療分野で大きな成功を収めています。ただし、これらのモデルのトレーニングには、生物医学イメージングで一般的な小規模でより特殊なデータセットとは対照的に、大規模で包括的なデータセットが必要になることがよくあります。ドイツのフラウンホーファーデジタル医学研究所 MEVIS の研究者は、トレーニング タスクの数とメモリ要件を分離するマルチタスク学習戦略を提案しました。彼らは、マルチタスク データベース (断層撮影、顕微鏡検査、X 線画像など) でユニバーサル生物医学事前トレーニング モデル (UMedPT) をトレーニングし、分類、セグメンテーション、および分類などのさまざまなラベル付け戦略を採用しました。
- AI 1061 2024-07-22 17:38:00
-
- ECCV 2024 | GPT-4V および Gemini 検出タスクのパフォーマンスを向上するには、このプロンプト パラダイムが必要です
- AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出電子メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com この記事の著者は、浙江大学、上海人工知能研究所、香港中文大学、シドニー大学、オックスフォード大学の出身者です。著者リスト: Wu Yixuan、Wang Yizhou、Tang Shixiang、Wu Wenhao、He Tong、WanliOuyang、Philip Torr、Jia
- AI 605 2024-07-22 17:28:30
-
- KDD 2024|香港のルバーブチャオチームがグラフ機械学習分野の大規模モデルの「未知の境界」を深く分析
- AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出電子メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com この記事の主な著者は香港大学のデータ インテリジェンス研究室 (DataIntelligenceLab) の出身です。著者のうち、筆頭著者の Ren Xubin と 2 番目の著者 Tang Jiabin はどちらも香港大学データサイエンス学部の博士課程 1 年生であり、指導教員は Da 氏です。
- AI 1194 2024-07-22 16:54:34
-
- 中国科学技術大学とファーウェイ・ノアは、大規模モデルのパフォーマンス、データ圧縮率、トレーニング損失の関係を明らかにするためにエントロピー法則を提案しました。
- AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出電子メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com この研究は、中国科学技術大学認知知能国家重点研究所の IEEE フェロー Chen Enhong チームと Huawei のノアの方舟研究所によって完了されました。 Chen Enhong 教授のチームはデータ マイニングと機械学習の分野に深く関わっており、Google Scholar のトップ ジャーナルやカンファレンスで多くの論文を発表しています。
- AI 837 2024-07-22 16:39:35
-
- 重み、コード、データセットはすべてオープンソースであり、Apple の小型モデル Mistral-7B を超えるパフォーマンスがここにあります。
- 小型モデルがトレンドですか?今週、OpenAI は小型モデル GPT-4o-mini を発売し、小型モデル トラックが正式に開始されました。最近このトラックに Apple が参加しました。最近、Apple は DataComp-LM (DCLM) プロジェクトの研究機関の 1 つとして、HuggingFace で DCLM-7B オープンソース モデルをリリースしました。モデルのパフォーマンスは Mistral-7B を上回り、Llama3 や Gemma などの他の主要なオープンソース モデルに近づいています。論文リンク: https://arxiv.org/pdf/2406.11794 プロジェクトリンク: https://huggingface.co/apple/DCLM-7
- AI 515 2024-07-22 16:18:40