AutoGPTを手動で！ ChatGPT に HuggingFace が公式に制作した 100,000 以上の AI モデルを選択させます

少し前、浙江大学のマイクロソフト チームが提案した HuggingGPT がテクノロジー サークル全体で人気になりました。

この大規模モデル コラボレーション システムは、ChatGPT をコントローラーとして使用し、HuggingFace 内のさまざまなモデルを自由に呼び出して、マルチモーダル タスクを実現します。

ChatGPT を「ボス」にすることは、多くの人が楽観的な方向性になっています。

いいえ、来るはずのものは来ます...

「トランスフォーマー」は世界で最も人気のある AI、HuggingFace によって正式に制作されていますコミュニティエージェント」は、10万以上のAIを制御することで魔法を実現することもできます。

NVIDIA の科学者 Jim Fan は、これが Everything App への第一歩であり、エコシステムが拡大するにつれてその機能も成長していると賞賛しました。

同氏は、HuggingGPT がこのアイデアの最初の大規模なデモンストレーションであり、GPT をコントローラーとして使用して、多段階のタスクを解決するためのツール (モデル) を動的に選択すると続けました。

ChatGPT の「App Store」は、もちろん AI ツール エコシステム アプリケーションの一例です。新しいトランスフォーマー エージェントを使用すると、スーパー バフを取得し、AI エージェントを迅速に構築できます。

全能のトランスフォーマー

トランスフォーマー エージェントを使用すると、口を開けて絵を描いたり、読み上げたりすることができます。

いくつかの例を見てみましょう~

<code>agent.run("Caption the following image", image=image)</code>

最初の例は簡単な例から始めます1つ 。写真を入力して説明を追加します。水の中を泳ぐかわいいビーバー (とてもかわいい、ルアだと思います)。

<code>agent.run("Read the following text out loud", text=text)</code>

2 番目の方法は難しいものではなく、テキストを音声に変換するだけです。

<code>agent.run("In the following `document`, where will the TRRF Scientific Advisory Council Meeting take place?",document=document,)</code>

これは少し難しいです。入力の要件は、科学諮問委員会の会議がどこで開催されるかを言うことです。

もちろん、AI の場合、最後の行を取得することで答えも見つかります。

agent.run を使用する前に、ユーザーは大規模言語モデル (LLM) であるエージェントをインスタンス化する必要があります。

研究者は、OpenAI モデルだけでなく、BigCode や OpenAssistant によるオープンソース代替モデルのサポートも提供します。

OpenAI のモデルのパフォーマンスは優れていますが、ユーザーは OpenAI API キーを持っている必要があるため、無料では使用できません。

Hugging Face は、BigCode や OpenAssistant などのモデルに無料のアクセス エンドポイントを提供すると述べました。

まず、ユーザーはエージェント アドオンをインストールする必要があります。

<code>pip install transformers[agents]</code>

OpenAI モデルを使用するには、ユーザーは OpenAI の依存関係をインストールした後に OpenAiAgent をインスタンス化する必要があります:

<code>pip install openaifrom transformers import OpenAiAgentagent = OpenAiAgent(model="text-davinci-003", api_key="<your_api_key>")</your_api_key></code>

ユーザーは次を使用する必要があります。 BigCode または OpenAssistant、API にアクセスするには、まずログインする必要があります:

<code>from huggingface_hub import loginlogin("<your_token>")</your_token></code>

次に、エージェントをインスタンス化します:

<code>from transformers import HfAgent# Starcoderagent = HfAgent("https://api-inference.huggingface.co/models/bigcode/starcoder")# StarcoderBase# agent = HfAgent("https://api-inference.huggingface.co/models/bigcode/starcoderbase")# OpenAssistant# agent = HfAgent(url_endpoint="https://api-inference.huggingface.co/models/OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5")</code>

This現在Hugging Faceが提供している推論APIを無料で利用します。ユーザーが独自の推論エンドポイントを持っている場合は、上記の URL を置き換えることができます。

StarCoder と OpenAssistant は無料で使用でき、単純なタスクでは適切に実行されます。

然而，在处理更复杂的提示时，检查点就不成立了。如果用户面临这样的问题，可以尝试一下OpenAI模型，虽然很遗憾它不是开源的，但胜在表现不错。

单一执行方法是在使用代理的run()方法时使用的：

<code>agent.run("Draw me a picture of rivers and lakes.")</code>

它自动选择适合你要执行的任务的工具（或工具）并适当地运行它们。它可以在同一指令中执行一个或几个任务（你的指令越复杂，就越有可能失败）。

<code>agent.run("Draw me a picture of the sea then transform the picture to add an island")</code>

每个run()操作都是独立的，所以你可以用不同的任务连续运行几次。

请注意，用户的智能体只是一个大语言模型，所以prompt中的小变化可能产生完全不同的结果。尽可能清楚地解释要执行的任务是很重要的。

研究人员深入地讨论了如何写出更好的prompt。

如果你想在整个执行过程中保持一个状态，或者向智能体传递非文本对象，你可以通过指定变量来做到这一点。

例如，你可以生成第一张河流和湖泊的图片，并要求模型通过以下方式更新该图片以增加一个岛屿：

<code>picture = agent.run("Generate a picture of rivers and lakes.")updated_picture = agent.run("Transform the image in `picture` to add an island to it.", picture=picture)agent.chat("Generate a picture of rivers and lakes")</code>

这里让系统生成一张河流湖泊的照片。

<code>agent.chat("Transform the picture so that there is a rock in there")</code>

下一步，研究人员又让系统给原图中加一个岛屿。

当用户想保持跨指令的状态时，这是一个很有趣的方法。

它更适合于实验，但往往在单条指令而不是复杂指令方面会好很多。

如果你想传递非文本类型或特定的提示，这个方法也可以接受参数。

要了解如何自己设置远程执行器工具，研究人员建议用户阅读自定义工具指南。

为了与远程工具一起运行，在run()或chat()中指定remote=True就可以了。

例如，以下命令可以在任何设备上有效地运行，不需要大量的RAM或GPU：

<code>agent.run("Draw me a picture of rivers and lakes", remote=True)</code>

对chat()来说也是一样的：

<code>agent.chat("Draw me a picture of rivers and lakes", remote=True)</code>

网友表示，Transformers Agent就像AutoGPT一样。

还有人表示，Transformers Agent打开了自然语言编程的大门，可以想象，未来的操作系统就是智能模型，人类通过自然语言编排任务，越来越多的非开发者可以自己实现各种计算机应用。

什么是工具？什么是智能体？

Transformers Agents整体的运作流程简单分为四步：

设定目标、提供工具、展示示例、下达任务。

智能体会使用链式思考推理来确定其任务，并用提供的工具输出Python代码。

如何安装和使用，官方给出了具体步骤。

https://www.php.cn/link/e4f67a0e4293245fba713c412fc63e28

其中，这里的「智能体」指的是，一个大型语言模型。通过提示LLM，让其访问特定的一组工具。

因为LLM非常擅长生成较小的代码样本，所以API利用了这一点优势。

你可以用抱抱脸自家的OpenAssistant、StarCoder，甚至还可以用OpenAI的模型。

提示LLM给出一个小的代码样本，并用一组工具执行一个任务。这个提示包括，给智能体的任务，以及工具的描述。

这样，「智能体」就可以找到所使用工具的文档，特别是预期的输入和输出，并可以生成相关的代码。

而「工具」就非常好理解，是一个单独的函数，带有名称和描述。

然后，使用这些工具的描述来提示「智能体」，作用就在于可以像智能体展示如何用工具来执行查询中的请求内容。

再之后，通过利用Python解释器在与工具一起上传的一组输入中执行代码。

如果唯一调用的函数是你自己提供的工具和print函数，那么，开发者会在可执行内容上受到限制。当然了，抱抱脸社区的工具，是比较安全的。

除此之外，HuggingFace在Transformers Agents中还集成了以下工具：

- 文档问答：给定一个图像格式的文档（PDF），回答文档的问题（Donut） 

- 文本问答：给定一个长文本和一个问题，回答文本中的问题（Flan-T5) 

- 无条件给图像加标题：（BLIP） 

- 图像问答：给定一个图像，回答关于这个图像的问题（VILT） 

- 图像分割：给定一个图像和一个提示，输出该提示的分割掩码（CLIPSeg） 

- 语音转文本：给定一个音频记录，将语音转录为文本（Whisper） 

- 文本到语音：将文本转换为语音（SpeechT5） 

- 零样本文本分类：给定一个文本和一列标签，确定该文本与哪个标签最对应（BART） 

- 文本总结：用一个或几个句子来总结一个长文本（BART） 

- 翻译：将文本翻译成一种语言（NLLB）

这些工具都内置在Transformers中，也可以手动使用，比如：

<code>from transformers import load_tooltool = load_tool("text-to-speech")audio = tool("This is a text to speech tool")</code>

此外，还有一些定制的工具集成在Transformers Agents中，其中包括文本下载器、文本到图像的扩散模型stable diffusion、图像变换instruct pix2pix stable diffusion，以及文本到视频damo-vilab。

官方给出了一个自定义工具和提示的教程：

https://www.php.cn/link/735a8b95123648555736192cd3978bc1

代码生成

如上，已经展示了如何使用Transformers Agents流程。

但是，智能体只生成代码，通过使用非常受限的Python解释器执行这些代码。

如果你希望使用在不同设置中生成的代码，可以提示智能体返回代码，对工具定义，并准确导入。

比如，根据以下步骤实现：

<code>agent.run("Draw me a picture of rivers and lakes", return_code=True)</code>

返回以下代码：

<code>from transformers import load_toolimage_generator = load_tool("huggingface-tools/text-to-image")image = image_generator(prompt="rivers and lakes")</code>

然后，你就可以修改和执行自己的工具了。

以上がAutoGPTを手動で！ ChatGPT に HuggingFace が公式に制作した 100,000 以上の AI モデルを選択させますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。