Pytorch＆＃x27; torchchat教程：与Python的本地设置-人工智能-PHP中文网

首页

科技周边

人工智能

Pytorch＆＃x27; torchchat教程：与Python的本地设置

Christopher Nolan

Mar 04, 2025 am 09:21 AM

> Torchchat：将大型语言模型推理到您的本地计算机

> 大型语言模型（LLM）正在转换技术，但是由于硬件限制，将它们部署在个人设备上一直具有挑战性。 Pytorch的新Torchchat Framework解决了这一点，从笔记本电脑到移动设备，可以在各种硬件平台上有效地执行LLM。本文提供了一个实用的指南，可以在本地使用Python进行设置和使用Torchchat。 Facebook的AI Research Lab（公平）开源机器学习框架，Bunderpins Torchchat。它的多功能性扩展到计算机视觉和自然语言处理。

> Torchchat的关键特征：

> Torchchat提供四个核心功能：

> python/pytorch llm执行：在机器上运行llms，并安装了Python和Pytorch，直接通过终端或REST API服务器进行交互。本文重点介绍此设置。

自包含的模型部署：使用AOT电感器（提前电感器），Torchchat创建了独立于Python和Pytorch的独立的可执行文件（动态库）。这样可以确保在生产环境中稳定的模型运行时，而无需重新编译。 AOT电感器通过有效的二进制格式优化部署，超过了火炬的开销。
>移动设备执行：利用executorch，Torchchat优化了移动设备和嵌入式设备的模型，生成了执行的PTE工件。>
模型评估：>使用框架评估LLM性能，对研究和基准测试至关重要。
为什么在本地运行llms？> 当地LLM执行提供了几个优点：lm_eval

增强的隐私：是医疗保健，金融和法律部门敏感数据的理想选择，确保数据保留在组织基础架构内。

实时性能：

最大程度地减少需要快速响应的应用程序的延迟，例如Interactive聊天机器人和实时内容生成。

脱机功能：在有限或没有互联网连接的区域中启用LLM使用。
成本优化：比云API的成本效益更高
>
克隆存储库：使用git克隆torchchat存储库：

>或者，直接从github接口下载。

>
>安装：
```
git clone git@github.com:pytorch/torchchat.git
```
登录后复制
登录后复制
假设安装了Python 3.10，创建一个虚拟环境：>

>使用提供的脚本安装依赖项：

验证安装：

git clone git@github.com:pytorch/torchchat.git

登录后复制

使用Torchchat：
- >列表支持的模型：
```
python -m venv .venv
source .venv/bin/activate
```
  登录后复制
- 下载模型：安装拥抱面CLI（），创建一个拥抱的脸部帐户，生成访问令牌，然后登录（）。下载模型（例如，）：pip install huggingface_hub> huggingface-cli login stories15M
```
./install_requirements.sh
```
  登录后复制
  >
- 生成文本：
  >
  或使用聊天模式：
```
python torchchat.py --help
```
  登录后复制
  >
```
python torchchat.py list
```
  登录后复制
  >请求访问：
- ），请按照错误消息中的说明进行操作。
  llama3
高级用法：微调性能

精确控制（

）：

）。 --dtypejust-In-time（JIT）汇编（）：--dtype fast>提高推理速度（但增加了启动时间）。
量化（）：--compile使用JSON配置文件降低模型大小并提高速度。
>设备规范（）：--quantize指定设备（例如，）。
结论--device > Torchchat简化了本地LLM执行，使高级AI更容易访问。本指南为探索其功能提供了基础。强烈建议对Torchchat的特征进行进一步研究。