LLM的工作方式：培训前训练，神经网络，幻觉和推理

揭示大语模型（LLMS）背后的魔力：两部分探索

大型语言模型（LLM）通常看起来很神奇，但它们的内部运作令人惊讶地系统性。这个两部分的系列揭示了LLM，并将其构建，培训和精炼解释为我们今天使用的AI系统。 受Andrej Karpathy的洞察力（和冗长！）YouTube视频的启发，该冷凝版以更容易访问的格式提供了核心概念。强烈建议您使用Karpathy的视频（仅10天内观看800,000次！），但此10分钟的读取蒸发是最初1.5小时的关键要点。

>

第1部分：从原始数据到基本模型> LLM发育涉及两个关键阶段：训练前和训练后。

1。预训练：教语言

> 在生成文本之前，LLM必须学习语言结构。这个计算密集的预训练过程涉及多个步骤：

数据采集和预处理：

大量，多样化的数据集，通常包括诸如Common Crawl（2500亿个网页）之类的来源。 但是，原始数据需要清洁以删除垃圾邮件，重复和低质量的内容。 诸如FineWeb之类的服务提供了拥抱脸上可用的预处理版本。
• >

tokenization：文本转换为用于神经网络处理的数值令牌（单词，子字或字符）。 例如，GPT-4使用100,277个独特的代币。 tiktokenizer之类的工具可视化此过程。

>神经网络培训：神经网络学会根据上下文预测下一步的令牌。 这涉及数十亿个迭代，通过反向传播调整参数（权重）以提高预测准确性。网络的体系结构决定了如何处理输入令牌以生成输出。>

• 最终的基本模型
了解单词关系和统计模式，但缺乏现实世界的任务优化。 它的功能像高级自动完成，根据概率进行预测，但具有有限的指令跟随功能。可以采用提示中的示例中的文章学习，但需要进一步的培训。

2。训练后：用于实际用途的精炼通过使用较小的专业数据集进行培训，可以完善基础模型。 这不是明确的编程，而是通过结构化的示例进行隐式指令。

>

训练后方法包括：

>
• 指导/对话微调：>教会模型遵循说明，进行对话，遵守安全指南并拒绝有害要求（例如，指令gpt）。
>
• >>域特异性微调：适应特定领域的模型（医学，法律，编程）。
特殊令牌被引入以划定用户输入和AI响应。

>

推断：生成文本

在任何阶段执行的推论，评估模型学习。 该模型将概率分配给潜在的代币和此分布的样本，从而在培训数据中明确地创建文本，但在统计学上与之一致。此随机过程允许从同一输入中产生各种输出。>

>幻觉：解决虚假信息

> LLMS产生虚假信息的幻觉源于其概率性质。 他们不“知道”事实，而是预测可能的单词序列。 缓解策略包括：

“我不知道”培训：

明确训练模型，以通过自我介入和自动化问题产生来识别知识差距。>
• Web搜索集成：通过访问外部搜索工具来扩展知识，将结果纳入模型的上下文窗口。
• 通过模糊的回忆（来自预训练的模式）和工作记忆（上下文窗口中的信息），llms访问知识。 系统提示可以建立一致的模型身份。

结论（第1部分）

>本部分探索了LLM开发的基本方面。第2部分将深入研究并检查尖端模型。 欢迎您的问题和建议！

以上是LLM的工作方式：培训前训练，神经网络，幻觉和推理的详细内容。更多信息请关注PHP中文网其他相关文章！