近日，AI大佬，现任Zoom CTO的黄学东，在自家的官网上发表了一篇博客。
其中隆重介绍了自己加入Zoom六个月之后创新的成果——Zoom AI Companion，以及驱动Zoom AI Companion的Zoom联邦（federated approach）AI。
在Zoom之前，黄学东曾担任微软Azure AI首席技术官，他不仅是微软首位全球华人技术院士，也是微软最高级别的华人科学家。
黄学东在微软任职了超过30年，在他的牵线搭桥下，微软于1998年在北京建起第一个亚洲研究院。
黄学东在2017年和2020年分别当选为ACM和IEEE会士，并于2023年同时当选为美国国家工程院院士和美国艺术与科学院院士
黄学东表示，人工智能的演变和实现过程就像一条弯曲的道路，充满了不断的破坏、适应和创新
在过去的30年中，我一直在这条道路上前行，涉足语音识别、自然语言理解和计算机视觉等领域。在我加入Zoom的六个月里，创新的速度尤其令人惊讶
Zoom希望使用AI来改善人类协作方式，不断提高生产力。
Zoom多年来一直致力于提供语音识别、计算机视觉、机器翻译和大型语言模型（LLM）等人工智能服务，以增强其软件的竞争力
Zoom AI Companion是他们的最新产品，它的目标是帮助用户提高工作效率、促进无缝协作并获得更深入的交流和见解
Zoom的联邦AI，能够使用户在之前付费服务的基础上，不用额外花钱就能享受AI Companion的功能。
通过这种方式，用户的体验将得到显著提升，同时也能够快速增加新技术在用户中的参与度
对于拥有大量用户且需要高强度使用AI功能的Zoom软件来说，LLM推理的额外成本如何分担呢？
根据传闻，据说GitHub的Copilot每月收费10美元，而且每个用户每月还需要额外支付20美元的补贴
Zoom目前使用的语言模型（LLM）包括自有模型和第三方模型，例如OpenAI GPT-3.5、GPT-4以及Anthropic Claude 2
Zoom联邦AI通过整合合作伙伴的最新LLM技术（例如OpenAI最新发布的GPT-4 Turbo），以提升Zoom客户的端到端体验
Zoom采用了更具成本效益的策略：
首先，使用成本较低的LLM来完成任务，然后通过Z-Scorer评估任务的初始完成质量
Zoom在必要的情况下将采用更高级的LLM来改进初始LLM所取得的成果
——这类似于一个有凝聚力的团队协同工作，能够比一个人更高效地生产更高质量的产品。
根据Zoom的内部测试，与OpenAI GPT-3.5 Turbo或其他几种最先进的LLM相比，Zoom采用联邦AI提高了AI Companion的输出质量，还有效地控制了成本。
黄学东表示，他们衡量性能的标准是要降低成本、提高响应速度和提供更高质量的产出
在下图中，我们可以看到Zoom AI Companion和GPT-4在英文会议查询任务上的性能和成本对比
在这个图中，我们比较了两个关键指标，即成本和输出质量
Zoom AI Companion只使用了不到GPT-4 6%的成本，就能实现几乎相当的输出质量
与微软Copilot使用的GPT-4-32k模型相比，Zoom AI Companion的会议提问功能，可降低成本，加快响应速度，同时保持相当的输出质量。
上图是Zoom AI Companion与GPT-4在多语言会议摘要任务上的对比。
此外，AI Companion的多语言性能，进一步证明了Zoom联邦AI的强大功能，支持除英语之外的32种语言。
由于大多数LLM主要是使用英语数据进行预训练，所以Zoom增加了翻译模型来扩展多语言能力。
在多语言会议摘要任务中，上图比较了Zoom AI Companion与Microsoft Copilot的表现。两者都使用GPT-4作为Microsoft Copilot的代理进行对比
在Zoom AI Companion的多语言会议摘要中，使用Zoom的翻译模型将非英语文本翻译成英语，这样能同时考虑翻译数据与原始数据。
从图中可以看出，Zoom AI Companion以不到6%的成本完成了质量接近于GPT-4-32k的输出（97%）。
Zoom相信，人工智能的好处应该让尽可能多的人广泛使用，而Zoom的联邦AI能够无缝结合不同AI系统的优势，提供高性能结果，在实现这一愿景方面发挥着重要作用。 重写后的内容：Zoom认为人工智能的好处应该让尽可能多的人广泛使用。Zoom的联邦AI可以无缝地结合不同的人工智能系统的优势，提供高性能的结果，在实现这个愿景方面起着重要的作用
目前，Zoom的几乎所有人工智能功能都被整合到了Zoom AI Companion中，该功能于去年9月份推出
Zoom提供的「充值服务」利用Zoom的人工智能能力，在您中途加入会议后，自动总结您错过的会议内容
当轮到你发言时，你可以结合自己的观点以及之前会议的内容，来生成发言稿，实现了真正的「替代用户开会」
在半程加入会议之后，AI可以告诉你会议的重点。
还能帮助您实时转录翻译其他与会者的发言，轻松获取会议讨论的文本
AI的作用不仅仅是将碎片化的信息整理好，还能为团队生成会议总结和记录
可以将从Zoom平台上获得的客户短信息进行总结，并生成具体的执行方案
而且对于参加不了的会议，还可以在日程表上直接安排AI智能录制，之后分段分重点回看。
而这整个AI伴侣背后，都凝结了Zoom和黄学东联邦AI的技术思路，用合适的AI资源去处理合适的请求。
而且Zoom承诺，不会使用用户的任何音频、视频、聊天、屏幕共享、附件或客户生成的内容（例如投票结果、白板）等其他数据来训练Zoom或第三方的AI。
使用这些方便的功能和负责的AI会花费多少钱呢？
使用150元至200元不等的价格，您可以使用一整年，而企业用户还可以选择定制版本
以上是能耗比达到GPT-4 10倍！黄学东亲自解密Zoom AI的成功之道，AI伴侣直接替你开会的详细内容。更多信息请关注PHP中文网其他相关文章！
