端末オペレーティング システム分野における AI ラージ モデルの革新トレンドを探る、OpenHarmony Technology Conference の OS ネイティブ インテリジェンス サブフォーラムが開催されました。

11 月 4 日、Open Atom オープンソース財団の第 2 回 OpenHarmony テクノロジー カンファレンスが北京で成功裏に開催されました。午後に開催されたOSネイティブインテリジェンスサブフォーラムでは、Huawei Shengsi MindSporeのチーフアーキテクトであるJin Xuefeng氏がプロデューサーを務め、ファーウェイのAIラージモデルアプリケーション開発プラットフォームのアーキテクトであるWang Lei氏がモデレーターを務めました。 、Chinasoft International Co., Ltd.、Shenzhen Ruoxin Technology Co., Ltd.などの企業界のリーダーと清華大学、上海交通大学などの学術専門家や学者が、それぞれの分野でAIラージモデルをどのように組み合わせたかを共有しました。 OpenHarmonyエコシステムの関連技術を革新し、技術的問題を解決し、AIの将来について共同で議論しました.大規模モデルと端末オペレーティングシステムを組み合わせる技術開発トレンドは、豊かなOpenHarmonyエコシステムの共同構築に貢献します。

Jin Xuefeng は Huawei Shengsi MindSpore のチーフアーキテクトです

モデレーター: 王磊、ファーウェイ AI ラージ モデル アプリケーション開発プラットフォームのアーキテクト

まず、清華大学のLi Yuanchun助研究員が「大規模モデル駆動型ターミナルインテリジェントエージェント」のテーマについて報告し、大規模モデル駆動型インテリジェントパーソナルエージェントシステムの設計と実装を紹介し、共有しました。モバイルアプリケーションの自動分析と大規模モデルの知識埋め込みは、アプリケーション内のドメイン知識と大規模モデルの常識的な知識を有機的に組み合わせて、より正確かつ効率的なタスクの自動化を実現します。 Li Yuanchun氏は、インテリジェントパーソナルエージェントは常に端末システムの研究者や開発者が注目する主要技術の1つであるが、ユーザーの意図の理解、タスク計画、ツールの使用などの機能が不十分なため、現在のインテリジェンスとスケーラビリティは不十分であると指摘した。インテリジェントなパーソナル エージェントの数は限られており、依然として大きな欠陥が存在します。大規模な言語モデルの出現により、これらの困難は解決されました。Li Yuanchun 氏は、「大規模な言語モデルに代表される大規模なモデルの出現は、この分野の発展に新たな機会をもたらしました。強力な言語モデルを通じて、この分野の発展を大幅に改善することが期待されています」と述べました。 「意味的理解と常識的推論機能。インテリジェントなパーソナル エージェント サポート機能の幅広さと深さを改善します。」

清華大学助研究員のLi Yuanchunがこのトピックを共有します

Zhang Zhaosheng は、ChinaSoft International Co., Ltd. の Intelligent Internet of Things Legion 製品 R&D 管理部のゼネラルマネージャーであり、OpenHarmony プロジェクト グループの技術運営委員会のメンバーです。大規模モデルとデバイス エッジ コラボレーションの分野に関する深い洞察に基づいて、彼は「OpenHarmony のデバイス エッジ クラウド アプリケーションにおける視覚的な大規模モデル」というタイトルのレポートを作成しました。同氏は、インテリジェンスの時代においては、大規模モデルとその基礎となるコンピューティングパワーテクノロジが継続的に改善されているため、エッジ側と端末側に大規模モデルを展開することが避けられない傾向になっていると指摘しました。同氏は、デジタル基盤としての OpenHarmony の価値と重要性を高く評価し、「Internet of Everything 時代の技術基盤として、OpenHarmony はさまざまなコンピューティング シナリオで広く使用でき、複数の接続、高リアルなビジネス ニーズを満たします。 「時間と大規模な異種データ。ハードウェアのコンピューティング能力を下向きに発揮し、大規模なアプリケーションを上向きに有効にする時が来ました。」Zhang Zhaosheng 氏の見解では、OpenHarmony をベースとしてエッジエンドの大規模モデル機能を統合し、エンドエッジの協調的なビジネス シナリオを構築することで、より競争力のあるイノベーションで業界を強化 エコシステムの拡大を加速するソリューション

ChinaSoft International Co., Ltd.のIntelligent IoT Legion製品研究開発管理部のゼネラルマネージャーであり、OpenHarmonyプロジェクトグループの技術運営委員会のメンバーであるZhang Zhaosheng氏がこのテーマを共有しました

Huawei XiaoyiのアーキテクトであるZhou Jianhui氏は、端末製品におけるインテリジェントサービス技術に関するHuawei Xiaoyiの考え方に基づいた「インテントフレームワークに基づくデバイス側ネイティブインテリジェント大規模モデルのエコロジカル構築の探求」というテーマのレポートを発表しました。このレポートでは、インテント フレームワークは、ユーザーの明示的および潜在的な意図の理解を達成し、タイムリーかつ正確に特定するための、多次元のシステム認識、大規模モデル、その他の機能を通じてグローバルなインテント パラダイムを構築するシステム レベルのインテント標準システムであると述べられています。ユーザーのニーズをエコロジカルパートナーに渡し、タイムリーなサービスを提供し、ユーザーにマルチモーダルでパーソナライズされた高度なシーンエクスペリエンスを提供します。

Huawei Xiaoyi 建築家 Zhou Jianhui のテーマ共有

上海交通大学コンピュータ科学工学部准教授の Zheng Wenli 氏は、機械学習手法に焦点を当て、「デバイス-エッジ-クラウド協調推論におけるディープ ニューラル ネットワークの動的セグメンテーション」について報告しました。デバイスエッジクラウド環境において、ネットワーク負荷とサーバー負荷の動的な変化に対応するために、鄭文麗教授は機械学習に基づくDNNセグメンテーション最適化アルゴリズムを提案し、それをShengsi MindSporeに実装しました。これにより、さまざまな機能を実行できるようになります。共通の CNN 、RNN は、推論レイテンシーを最小限に維持するために、エンド、エッジ/クラウド側にわたる分散を自動的に調整します。同時に同氏は、「リソースの制限がエッジ コンピューティングが直面する主な課題である。リソースの制限を突破しようとすることによってのみ、エッジの利点を最大化し、インテリジェンスをすべての人の生活に真に浸透させることができる。」と指摘した。

上海交通大学コンピューター理工学部准教授のZheng Wenli氏がこのトピックを共有しました

ファーウェイのノアの方舟研究所の研究者である Hou Lu 氏は、現場で「圧縮の加速と大規模言語モデルの効率的な展開」と題するレポートを共有しました。このレポートでは、大規模な言語モデルが推論段階で直面するメモリ、メモリ アクセス、およびコンピューティングの課題を、アーキテクチャ設計、コスト、スループット、レイテンシ、長いシーケンスなどの側面から紹介し、モデルと KVcache の量子化圧縮と融合について説明します。大規模な演算子と、大規模な言語モデルの効率的な推論における投機的推論によってもたらされる利点

ファーウェイのノアの方舟研究所の研究員、Hou Lu氏がこのトピックを共有しました

Shenzhen Ruoxin Technology Co., Ltd. の CTO である Zhou Peng 氏は、「ユビキタス インテリジェンス: エンドツーエンドの脳にインスピレーションを得た大規模モデルのアプリケーションとソリューション」について講演し、大規模言語が直面する課題を参加者に紹介しました。モデル: 計算能力のオーバーヘッドの問題と、人間の脳に似た情報処理方法を使用して Transformer アーキテクチャを改善する方法。第 3 世代ニューラル ネットワーク SNN を使用してニューラル ネットワークを構築することにより、ネットワーク内のデータはパルス シーケンスを使用して保存および送信され、ネットワークのインテリジェンスに影響を与えることなく推論のオーバーヘッドが大幅に削減されます。 Zhou Peng 氏は次のように述べています。「このテクノロジーを使用してトレーニングされた大規模モデルは、同じパラメータ レベルで最適なエネルギー消費、遅延、計算能力の要件を達成するだけでなく、消費者グレードのデバイスにローカルに展開して実行する機能も備えています。 「

Shenzhen Ruoxin Technology Co., Ltd. CTO Zhou Peng のテーマ共有

Huawei Shengsi MindSpore のアーキテクトである Li Zheng 氏は、MindSpore フレームワークの技術的調査と実践経験に基づいたレポート「MindSpore クライアント側の大規模モデル展開が OS インテリジェンスに役立つ」を共有しました。彼は、大規模な AI モデルの展開とアプリケーションの課題を解決する方法について説明しました。 Li Zheng 氏は次のように述べています。「生成 AI 大型モデルは、人々の仕事と生活を静かに変えています。AI 大型モデルとスマート端末の組み合わせは、必然的に新しい体験につながります。しかし、端末デバイスのコンピューティング能力とストレージの制約により、AI大規模モデルのエンドサイド展開は多くの課題に直面しています。」レポートの中で、彼は、大規模モデルのサイド展開と推論高速化における MindSpore の探求と関連する技術的アイデアを紹介しました。 MindSpore は、クラウド エッジとフルシナリオのトレーニングとプロモーションを統合するオープンソース AI フレームワークとして、HarmonyOSAI インテリジェント ビジネス シナリオのパフォーマンスの最適化に深く関与しています。 Huaweiの携帯電話、タブレット、時計、ノートブック、スマートスクリーン、スマートカー、その他の端末製品で広く使用されています

Huawei Shengsi MindSpore アーキテクト Li Zheng のテーマ共有

OSネイティブインテリジェンスサブフォーラムの最終セッションでは、フォーラムのホストであるHuawei AIラージモデルアプリケーション開発プラットフォームのアーキテクトであるWang Lei氏、Huawei Shengsi MindSporeのチーフアーキテクトであるJin Xuefeng氏、プロデューサー、およびゲストスピーカーが講演を行いました。 「デバイス側の大規模モデル」をテーマにした講演 ラウンドテーブルディスカッションでは、AI アプリケーションのアーキテクチャとフレームワーク、モデルトレーニングのフレームワーク、OS ネイティブインテリジェンスのモデルアーキテクチャとアルゴリズムの技術的概念とアイデアについてさらに議論されました。

「デバイスサイドの大規模モデルおよびアプリケーションにおける技術フロンティアの課題とソリューションのアイデア」ラウンドテーブル ディスカッション

これまでのところ、第 2 回 OpenHarmony テクノロジー カンファレンスの OS ネイティブ インテリジェンス サブフォーラムは成功裡に終了しました。技術専門家や業界リーダーによる共有は、ネイティブインテリジェンスの分野におけるOpenHarmonyの技術的可能性と応用実践を実証し、AIの大型モデルと操作端末の緊密な統合が確実に大型モデルの機能の拡張と、端末機器の開発、賢明な「win-win」の見通し。ネイティブ インテリジェンスの分野でますます多くの技術専門家や業界エリートが OpenHarmony コミュニティに参加するにつれて、OpenHarmony エコシステムは確実に繁栄するでしょう。私たちは、より多くのパートナーが OpenHarmony テクノロジーとエコロジーの共同構築に参加し、「テクノロジーでエコロジーを構築し、インテリジェンスで未来を勝ち取る」ために協力することを楽しみにしています。

以上が端末オペレーティング システム分野における AI ラージ モデルの革新トレンドを探る、OpenHarmony Technology Conference の OS ネイティブ インテリジェンス サブフォーラムが開催されました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。