拥抱脸部的文本生成推理工具包 - ai中的游戏改变者

利用拥抱面部文本生成推理的力量（TGI）：您的本地LLM服务器

大型语言模型（LLM）正在彻底改变AI，尤其是在文本生成中。 这导致了旨在简化LLM部署的工具的激增。 拥抱Face的文本生成推断（TGI）脱颖而出，为当地运行LLMS作为服务提供了一个强大的，可提供生产的框架。 本指南探讨了TGI的功能，并演示了如何利用它为复杂的AI文本生成。

了解拥抱脸TGI

TGI，一个生锈和Python框架，可以在本地机器上的LLMS部署和服务。 根据HFOILV1.0许可，适用于商业用途作为补充工具。 它的主要优点包括：

高性能文本生成：
• TGI使用张量并行性和动态批处理优化性能，例如Starcoder，Bloom，GPT-Neox，Llama和T5。 >有效的资源用法：
连续批处理和优化代码最小化资源消耗时，同时处理多个请求。>
• >灵活性：它支持安全和保障功能，例如水印，偏置控制的logit翘曲和停止序列。
• TGI拥有优化的体系结构，以更快地执行LLMS，例如Llama，Falcon7b和Mismtral（请参阅完整列表的文档）。 为什么选择拥抱脸tgi？
拥抱面是开源LLM的中心枢纽。 以前，许多模型对于本地使用而言过于资源密集型，需要云服务。 但是，诸如Qlora和GPTQ量化之类的进步使一些LLM在本地机器上可管理。

> TGI解决了LLM启动时间的问题。 通过准备好模型，它提供了即时响应，消除了冗长的等待时间。 想象一下，端点很容易访问一系列顶级语言模型。

> tgi的简单性值得注意。 它旨在无缝部署流线型的模型架构，并为几个实时项目提供动力，包括：

拥抱聊天

> openassistant

nat.dev

• 重要说明： tgi当前与基于ARM的GPU MAC（M1及以后）不相容。>
• 设置拥抱的脸TGI
提出了两种方法：从划痕和使用docker（为简单起见）。

• > 方法1：从头开始（更复杂）

  >
  1. >安装Rust：curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
  2. 创建一个python虚拟环境：conda create -n text-generation-inference python=3.9 && conda activate text-generation-inference
  >
  3. >安装ProtoC（推荐版本21.12）：（要求sudo）省略了说明，请参阅原始文本。
  克隆github存储库：
  4. git clone https://github.com/huggingface/text-generation-inference.git>
  >安装TGI：
  5. cd text-generation-inference/ && BUILD_EXTENSIONS=False make install

  方法2：使用docker（推荐）>

  确保安装并运行Docker。
  （首先检查兼容性）运行docker命令（使用falcon-7b的示例）：
  2. 替换volume=$PWD/data && sudo docker run --gpus all --shm-size 1g -p 8080:80 -v $volume:/data ghcr.io/huggingface/text-generation-inference:0.9 --model-id tiiuae/falcon-7b-instruct --num-shard 1 --quantize bitsandbytes"all"如果使用单个gpu。 "0"
  在应用程序中使用TGI

  >启动TGI后，使用邮政请求与

  >端点（或用于流媒体）进行交互。 原始文本中提供了使用Python和Curl的示例。

  python库（/generate）简化了交互。/stream> text-generation实用的技巧和进一步的学习pip install text-generation

  了解LLM基础知识：
  熟悉令牌化，注意机制和变压器体系结构。
  • >模型优化：
  学习如何准备和优化模型，包括选择正确的模型，自定义tokenizers和微调。
  • 生成策略：探索不同的文本生成策略（贪婪搜索，梁搜索，顶级样本）。
  • 结论 >拥抱面TGI提供了一种用户友好的方式来部署和主机在本地部署LLM，从而提供了诸如数据隐私和成本控制之类的好处。在需要强大的硬件时，最近的进步使其对许多用户来说是可行的。 强烈建议对先进的LLM概念和资源进行进一步探索。

以上是拥抱脸部的文本生成推理工具包 - ai中的游戏改变者的详细内容。更多信息请关注PHP中文网其他相关文章！