这就是LLM分解语言的方式

揭示了大语言模型的秘密：深入探究令牌化

还记得2020年Openai的GPT-3周围的嗡嗡声吗？ GPT-3的出色文本生成功能虽然不是第一个，但它使它成名。从那时起，就出现了无数的大型语言模型（LLM）。但是，LLMS如何像Chatgpt Decipher语言？答案在于一个称为令牌化的过程。

本文从Andrej Karpathy的洞察力YouTube系列中汲取了灵感，“深入研究LLM，例如Chatgpt，”，这是任何寻求更深入了解LLM的人的必看。 （强烈建议！）

在探索令牌化之前，让我们简要检查LLM的内部工作。如果您已经熟悉神经网络和LLM，则跳过前进。

大语言模型内部

llms利用变压器神经网络 - 复杂的数学公式。输入是通过嵌入层处理的令牌（单词，短语或字符）的序列，将其转换为数值表示。这些输入以及网络的参数（权重）被馈入大型数学方程。

现代神经网络拥有数十亿个参数，最初是随机设置的。该网络最初做出随机预测。训练迭代地调整了这些权重，以使网络的输出与培训数据中的模式保持一致。因此，培训涉及找到最佳反映培训数据的统计属性的最佳权重集。

vaswani等人在2017年论文“关注您需要的一切”中引入的变压器体系结构是一个专门为序列处理而设计的神经网络。它最初用于神经机器翻译，现在是LLM的基石。

以目视了解生产级变压器网络，请访问 https://www.php.cn/link/link/link/link/link/link/link/link/link/link/f45333333333333333333361f291b6c11b56.1b74d4d4d4d4d4d4d4d4d。该站点提供了GPT体系结构及其推理过程的交互式3D可视化。

Tokenization: Breaking Down Text

Training a cutting-edge LLM like ChatGPT or Claude involves several sequential stages. （有关培训管道的更多详细信息，请参见我的上一篇有关幻觉的文章。）

预处理，初始阶段，需要大量的高质量数据集（Terabytes）。这些数据集通常是专有的。作为一个例子，我们将使用拥抱面（在“开放数据共享归因许可证”下可用）的开源FineWeb数据集。 （有关FineWeb创建的更多详细信息。 src =“ https://img.php.cn/upload/article/000/000/000/000/174166081948412.jpg” alt =“这就是LLMS分解语言的方式”/> farce f ins from face f ince of file face f infine> src =“ https://img.php.cn/upload/article/000/000/000/174166082170272.jpg” alt =“这是LLMS分解语言的方式”/>我们的目标是我们的目标是训练神经网络以复制此文本。神经网络需要有限集的一维符号序列。这需要将文本转换为这样的序列。

我们从一维文本序列开始。 UTF-8编码将其转换为原始的位序列。

这些数字是任意的识别器。

src =“ https://img.php.cn/upload/article/000/000/000/174166083192550.jpg” alt =“这就是LLMS分解语言的方式”/>此转换是标记。使用字节对编码（BPE）。

bpe识别频繁的连续字节对，并用新符号替换它们。例如，如果经常出现“ 101 114”，则将其替换为新符号。这个过程重复，缩短顺序并扩展词汇。 GPT-4 uses BPE, resulting in a vocabulary of around 100,000 tokens.

Explore tokenization interactively with Tiktokenizer, which visualizes各种模型的令牌化。使用GPT-4的 cl100k_base 在前四个句子上编码：

 <code> 11787，499，21815，369，90250，763，763，14689，14689，30，30，7694 701, 4832, 2457, 13, 9359, 1124, 323, 6642, 264, 3449, 709, 3010, 18396, 13, 1226, 617, 9214, 315, 1023, 3697, 430, 1120, 649, 10379, 83, 3868, 311, 3449, 18570, 1120, 1093，499，0 </code> 

cl100k_base 。

令牌化对于LLMS至关重要，将原始文本转换为神经网络的结构化格式。平衡序列长度和词汇大小是计算效率的关键。像GPT这样的现代LLM使用BPE进行最佳性能。 Understanding tokenization provides valuable insights into the inner workings of LLMs.

Follow me on X (formerly Twitter) for more AI insights!

References

• Deep Dive into LLMs Like ChatGPT
• Andrej Karpathy
• Attention Is All You Need
• llm可视化（https://www.php.cn/link/f4a75336b061f291b6c11f5e4d6ebf7d)
• llm幻觉（link_to_to_hallucination_article）
• huggingfacefw/fineweb·hugging face的数据集（link_to_to_huggingface_fineweb）
• fineweb：fineweb：fine fineweb：在规模上脱下最佳的文本数据，以下是一个最佳的文本数据， (https://www.php.cn/link/271df68653f0b3c70d446bdcbc6a2715)
• Open Data Commons Attribution License (ODC-By) v1.0 – Open Data Commons: legal tools for open data (link_to_odc_by)
• Byte-Pair Encoding tokenization - 拥抱面孔NLP课程（link_to_huggingface_bpe）
• tiktokenizer（https://wwwwwwwww.php.cn/link/3b8d8348348318987a2f1a39d69d690463a8f）我试图根据要求维护原始格式和图像放置。

以上是这就是LLM分解语言的方式的详细内容。更多信息请关注PHP中文网其他相关文章！