使用 Chrome API 的本地 AI

大多数使用人工智能 (AI) 的产品通常都是通过使用 API 来实现这一点，而 API 又连接到服务器以将结果返回到网络。当任务很紧张并且需要大量处理能力时，这很有意义。

但是对于简单的任务有更有效的选择吗？

Chrome 团队实验性地推出了一个 API，允许您在本地与 Gemini Nano 模型进行交互。这样就无需使用更大的模型（例如 Gemini Pro 1.5）来执行复杂的任务。

主要区别

1. 本地集成：不需要部署模型。它直接集成到浏览器中，负责管理下载、更新和改进。开发人员只需担心将其集成到他们的应用程序中。

2. 下载效率：通过不需要应用程序下载模型，提高了效率。在网络环境中，即使是小模型，尺寸也可能很大。例如，transformer.js 模型的大小约为 60MB。

3. 提高性能：这种本地集成允许访问设备资源，例如 GPU，从而显着提高性能。

本地运行模型的好处

• 保存对服务器的调用：通过避免不断查询服务器，Web 应用程序变得更加高效，减少等待时间。

• 隐私：数据保留在设备上，无需将其发送到外部服务器，从而增加了额外的安全层。

• 离线使用：下载后，模型即可在设备上使用，无需互联网连接即可使用。

混合架构

本地模型虽然高效，但我们不能完全抛弃服务器。这对于处理更复杂的任务仍然是必要的。关键是找到“最佳点”，即确定何时使用本地模型以及何时诉诸服务器的最佳点。

此外，集成模型可以在服务器故障或缺乏互联网连接的情况下作为备份。

局限性

由于它是一个小型模型并针对在浏览器中运行进行了优化，因此其容量更加有限。目前，建议将其用于特定任务，例如翻译、摘要或文本改进。这些类型的模型被称为“专家模型”，因为它们对于特定任务更有效。

加入实验计划

如果您想尝试这个API，您可以通过填写此链接中的表格来加入实验计划。您将获得文档和 Google 群组的访问权限，您可以在其中随时了解 API 的更新和更改。

在下面的文章中了解如何开始使用此 API 以及可用的功能。

以上是使用 Chrome API 的本地 AI的详细内容。更多信息请关注PHP中文网其他相关文章！