如何使用 ghs 运行 llama b bf

Lambda 实验室现在推出 GH200 半价优惠，以让更多人习惯 ARM 工具。这意味着您实际上可能有能力运行最大的开源模型！唯一需要注意的是，您有时必须从源代码构建一些东西。以下是我如何让 llama 405b 在 GH200s 上高精度运行。

创建实例

Llama 405b 约为 750GB，因此您需要大约 10 个 96GB GPU 来运行它。 （GH200 具有相当不错的 CPU-GPU 内存交换速度——这就是 GH200 的全部意义——因此您可以使用少至 3 个。每个令牌的时间会很糟糕，但总吞吐量是可以接受的，如果您正在执行批处理。）登录 lambda 实验室并创建一堆 GH200 实例。 确保为它们提供相同的共享网络文件系统。

将 IP 地址保存到 ~/ips.txt。

批量 ssh 连接助手

我更喜欢直接 bash 和 ssh，而不是 kubernetes 或 slurm 等任何花哨的东西。借助一些助手即可轻松管理。

设置 NFS 缓存

我们将把 python 环境和模型权重放在 NFS 中。如果我们缓存它，加载速度会快得多。

创建conda环境

我们可以在 NFS 中使用 conda 环境，并只用头节点来控制它，而不是在每台机器上小心地执行完全相同的命令。

安装阿芙罗狄蒂依赖项

Aphrodite 是 vllm 的一个分支，启动速度更快，并且有一些额外的功能。
它将运行兼容 openai 的推理 API 和模型本身。

你需要手电筒、Triton 和闪光注意。
您可以从 pytorch.org 获取 aarch64 torch 构建（您不想自己构建它）。
另外两个你可以自己建造或者使用我做的轮子。

如果您从源代码构建，那么您可以通过在三台不同的机器上并行运行 triton、flash-attention 和 aphrodite 的 python setup.py bdist_wheel 来节省一些时间。或者您可以在同一台机器上逐一执行它们。

来自车轮的 Triton 和闪光注意

海卫一从源头

来自源头的闪光注意力

安装阿芙罗狄蒂

你可以使用我的轮子或自己建造。

轮子上的阿佛洛狄忒

阿芙罗狄蒂的来源

检查所有安装是否成功

下载权重

前往 https://huggingface.co/meta-llama/Llama-3.1-405B-Instruct 并确保您拥有正确的权限。批准通常需要大约一个小时。从 https://huggingface.co/settings/tokens
获取令牌

奔跑骆驼 405b

我们将通过启动 ray 让服务器相互了解。

我们可以在一个终端选项卡中启动阿芙罗狄蒂：

并在第二个终端中从本地计算机运行查询：

对于文本来说速度不错，但是对于代码来说有点慢。如果您连接 2 台 8xH100 服务器，那么每秒会接近 16 个令牌，但成本是原来的三倍。

进一步阅读

• 理论上，您可以使用 lambda labs API https://cloud.lambdalabs.com/api/v1/docs 编写实例创建和销毁脚本
• 阿芙罗狄蒂文档 https://aphrodite.pygmalion.chat/
• vllm 文档（api 大部分相同）https://docs.vllm.ai/en/latest/

以上是如何使用 ghs 运行 llama b bf的详细内容。更多信息请关注PHP中文网其他相关文章！