Pytorch＆＃x27; torchchat教程：与Python的本地设置

> Torchchat：将大型语言模型推理到您的本地计算机

> 大型语言模型（LLM）正在转换技术，但是由于硬件限制，将它们部署在个人设备上一直具有挑战性。 Pytorch的新Torchchat Framework解决了这一点，从笔记本电脑到移动设备，可以在各种硬件平台上有效地执行LLM。 本文提供了一个实用的指南，可以在本地使用Python进行设置和使用Torchchat。 Facebook的AI Research Lab（公平）开源机器学习框架，Bunderpins Torchchat。 它的多功能性扩展到计算机视觉和自然语言处理。

> Torchchat的关键特征：

> Torchchat提供四个核心功能：

> python/pytorch llm执行：在机器上运行llms，并安装了Python和Pytorch，直接通过终端或REST API服务器进行交互。 本文重点介绍此设置。

1. 自包含的模型部署：使用AOT电感器（提前电感器），Torchchat创建了独立于Python和Pytorch的独立的可执行文件（动态库）。这样可以确保在生产环境中稳定的模型运行时，而无需重新编译。 AOT电感器通过有效的二进制格式优化部署，超过了火炬的开销。
2. >移动设备执行：利用executorch，Torchchat优化了移动设备和嵌入式设备的模型，生成了执行的PTE工件。>
3. 模型评估：>使用框架评估LLM性能，对研究和基准测试至关重要。
4. 为什么在本地运行llms？> 当地LLM执行提供了几个优点：lm_eval

增强的隐私：是医疗保健，金融和法律部门敏感数据的理想选择，确保数据保留在组织基础架构内。

实时性能：

最大程度地减少需要快速响应的应用程序的延迟，例如Interactive聊天机器人和实时内容生成。

>
• 脱机功能：在有限或没有互联网连接的区域中启用LLM使用。
• 成本优化：比云API的成本效益更高
python的本地设置：逐步指南
• >
>
• 克隆存储库：使用git克隆torchchat存储库：

>或者，直接从github接口下载。

>

1. >

   >安装：

   git clone git@github.com:pytorch/torchchat.git

   假设安装了Python 3.10，创建一个虚拟环境：>
   >使用提供的脚本安装依赖项：

   

   验证安装：

git clone git@github.com:pytorch/torchchat.git

2. 使用Torchchat：

   • >列表支持的模型：

     python -m venv .venv
     source .venv/bin/activate

     

   • 下载模型：安装拥抱面CLI（），创建一个拥抱的脸部帐户，生成访问令牌，然后登录（）。下载模型（例如，）：pip install huggingface_hub> huggingface-cli login stories15M

     ./install_requirements.sh

     >
   运行模型：
   • 生成文本：>

     或使用聊天模式：

     python torchchat.py --help

     >

     python torchchat.py list

     >请求访问：
   对于需要访问的模型（例如，
   • ），请按照错误消息中的说明进行操作。

     llama3

   高级用法：微调性能

精确控制（

）：

调整速度/准确性权衡的数据类型（例如，
• ）。 --dtypejust-In-time（JIT）汇编（）：--dtype fast>提高推理速度（但增加了启动时间）。
• 量化（）：--compile使用JSON配置文件降低模型大小并提高速度。
• >设备规范（）：--quantize指定设备（例如，）。
• 结论--device > Torchchat简化了本地LLM执行，使高级AI更容易访问。本指南为探索其功能提供了基础。 强烈建议对Torchchat的特征进行进一步研究。

以上是Pytorch＆＃x27; torchchat教程：与Python的本地设置的详细内容。更多信息请关注PHP中文网其他相关文章！