公開: Step Star 兆 MoE+ マルチモーダル大型モデル マトリックスを公開

在 2024 年世界人工智能大会的现场，很多人在一个展台前排队，只为让 AI 大模型给自己在天庭「安排」一个差事。

流程：

1. 提供个人照片
2. 生成仙界形象照（参照《大闹天宫》画风）
3. 交互式剧情选择和交谈环节
4. 基于选择和回答评估 MBTI 人格类型
5. 根据人格类型 "安排" 天庭差事

体验方式：

• 现场排队
• 在线体验（扫描下方二维码）

  

  大模型创业公司阶跃星辰公布大招

与上影合作的 AI 互动体验《AI + 大闹天宫》只是阶跃星辰展示大模型魅力的开胃菜。在 WAIC 期间，他们隆重推出了以下大招：

1. 万亿参数 MoE 大模型：Step-2 正式版
2. 千亿参数的多模态大模型：Step-1.5V
3. 图像生成大模型：Step-1X

Step-2 万亿参数大模型

在 3 月份与阶跃星辰首次亮相后，Step-2 已进化至全面接近 GPT-4 的水平，在数理逻辑、编程、中文知识、英文知识和指令遵循等方面表现优异。

Step-1.5V 多模态大模型

基于 Step-2 模型，阶跃星辰开发出了多模态大模型 Step-1.5V，不仅具有强大的感知和视频理解能力，还可根据图像内容进行高级推理（如解答数学题、编写代码、创作诗歌）。

Step-1X 图像生成大模型

《AI + 大闹天宫》中的图像生成由 Step-1X 模型完成，该模型针对中国元素进行了深度优化，并拥有出色的语义对齐和指令遵循能力。

阶跃星辰已建立起涵盖万亿参数 MoE 大模型和多模态大模型的完整大模型矩阵，成为大模型创业公司第一梯队。这得益于他们对 Scaling Law 的坚持以及匹配的技术和资源实力。

从头训练的

Step-2 万亿参数大模型

万亿参数量将显著提升模型在数学、编程等领域的推理能力。Step-2 相比千亿级模型，可解决更为复杂的数理逻辑和编程问题，也得到了基准评测的量化证实。

此外，它的中英文能力和指令跟随能力也实现了明显提升。
Step-2 之所以表现如此优异，一方面得益于它巨大的参数量，另一方面也得益于它的训练方法。
我们知道，训练 MoE 模型主要有两种方式。一种是 upcycle，即通过重新利用训练过程的中间结果或已经训练好的模型，以更高效和更经济的方式进一步提升模型性能。这种训练方式算力需求低，训练效率高，但训练出的模型往往上限要低一些。比如，在训练 MoE 模型时，如果多个专家模型是通过拷贝和微调相同的基础模型得到的，那么这些专家模型之间可能会存在高度相似性，这种同质化会限制 MoE 模型的性能提升空间。
考虑到这些局限，阶跃星辰选择了另一种方式 —— 完全自主研发，从头开始训练。这种方式虽然训练难度高、算力消耗大，但能获得更高的模型上限。
具体来说，他们首先在 MoE 架构设计方面做了一些创新，包括部分专家共享参数、异构化专家设计等。前者可以确保某些通用能力在多个专家之间共享，但同时每个专家仍然保留其独特性。后者通过设计不同类型的专家模型，使每个专家在特定任务上都有独特的优势，从而增加模型的多样性和整体性能。
基于这些创新，Step-2 不仅总参数量达到了万亿级别，每次训练或推理所激活的参数量也超过了市面上大部分的密集模型。
此外，从头训练这样一个万亿参数模型对于系统团队也是很大的考验。好在，阶跃星辰系统团队拥有丰富的系统建设与管理实践经验，这让他们在训练过程中顺利突破了 6D 并行、极致显存管理、完全自动化运维等关键技术，成功完成了 Step-2 的训练。站在 Step-2 肩膀上的 Step-1.5V 多模态大模型
三个月前，阶跃星辰发布了 Step-1V 多模态大模型。最近，随着 Step-2 正式版的亮相，这个多模态大模型也升级到了 1.5 版本。
Step-1.5V 主要侧重多模态理解能力。与之前的版本相比，它的感知能力大大提升，能够理解复杂图表、流程图，准确感知物理空间复杂的几何位置，还能处理高分辨率和极限长宽比的图像。

此外，它还能理解视频，包括视频中的物体、人物、环境以及整体氛围和人物情绪。

前面提到，在 Step-1.5V 的诞生过程中，Step-2 功不可没。这指的是，在 Step-1.5V 进行 RLHF（基于人类反馈的强化学习）训练过程中，Step-2 是作为监督模型来用的，这相当于 Step-1.5V 有了一个万亿参数的模型当老师。在这个老师的指导下，Step-1.5V 的推理能力大大提升，能够根据图像内容进行各类高级推理任务，如解答数学题、编写代码、创作诗歌等。这也是 OpenAI GPT-4o 最近所展示的能力之一，这项能力让外界对于它的应用前景充满了期待。

多模态的生成能力主要体现在 Step-1X 这个新模型上。与一些同类模型相比，它有更好的语义对齐和指令跟随能力，同时针对中国元素做了深度优化，更适合国人的审美风格。

基于该模型打造的《大闹天宫》AI 互动体验的背后融合了图像理解、风格迁移、图像生成、剧情创作等多种能力，丰富立体地展现了阶跃星辰行业领先的多模态水平。例如，在初始角色生成时，系统首先会判断用户上传的照片是否符合「捏脸」要求，然后用非常《大闹天宫》的语言风格灵活给予反馈。这里就体现了模型的图片理解能力和大语言模型的能力。在大模型技术加持下，这款游戏就让玩家获得了和传统线上 H5 游戏完全不同的互动体验。因为所有的互动问题、用户形象、分析结果都是模型实时学习特征后生成的，真正做到了千人千面和无限剧情的可能。

这些优异的表现离不开阶跃星辰全链路自研的 DiT 模型架构（OpenAI 的 Sora 也是 DiT 架构）。为了让更多人用上该模型，阶跃星辰给 Step-1X 设计了 600M、2B、8B 三种不同的参数量，以满足不同算力场景的需求。

在 3 月份的亮相活动中，阶跃星辰创始人姜大昕曾明确指出，他认为大模型的演进会经历三个阶段： 

1. 最初の段階では、言語、視覚、聴覚などの各モダリティが独立して発達し、各モダリティのモデルは、その特定のモダリティの特性を学習して特徴付けることに焦点を当てます。
2. 第 2 ステージでは、さまざまなモードが結合され始めます。ただし、この統合は完全ではなく、理解タスクと生成タスクが分離されたままであるため、モデルの理解能力は強いが生成能力が弱い、またはその逆の結果になります。
3. 第 3 段階では、生成と理解がモデルに統合され、ロボットと完全に統合されて身体化された知能が形成されます。次に、身体化された知能が積極的に物理世界を探索し、徐々に世界モデルに進化することで、AGI が実現されます。

これは、Jiang Daxinらが事業を始めた当初から貫いてきた道でもあります。この道には、「数兆のパラメータ」と「マルチモード融合」が不可欠です。Step-2、Step-1.5V、Step-1X はすべて、この道で到達したノードです。

さらに、これらのノードは1つずつ接続されています。 OpenAI を例に挙げると、彼らが今年の初めにリリースしたビデオ生成モデル Sora は、アノテーションに OpenAI の内部ツール (おそらく GPT-4V) を使用しており、GPT-4V は GPT-4 関連テクノロジーに基づいてトレーニングされました。現在の観点からすると、シングルモーダル モデルの強力な機能がマルチモーダルの基礎を築き、マルチモーダルを理解することが生成の基礎を築きます。 このようなモデル行列に基づいて、OpenAI は左足が右足を踏むことを実現します。そして、ステップスターは中国でこのルートを確認しています。

この会社が国内の大型モデル分野にさらなる驚きをもたらすことを期待しています。

以上が公開: Step Star 兆 MoE+ マルチモーダル大型モデル マトリックスを公開の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。