大模型也是有大有小的，它们的大小靠参数数量来度量。GPT-3就有175亿个参数，而Grok-1更是不得了，有314亿个参数。当然，也有像Llama这样身材苗条一点的，参数数量只有70亿到700亿之间。
这里说的70B可能不是指训练数据的数量，而是指模型中那些密密麻麻的参数。这些参数就像是一个个小小的“脑细胞”，越多就能让模型更聪明，更能理解数据中那些错综复杂的关系。有了这些“脑细胞”，模型在处理任务时可能会表现得更好。 然而，很多时候这些参数，尤其是在大规模的模型中，会带来一些问题。这些“脑细胞”在处理任务时可能会互相影响，导致模型难以理解数据中那些复杂的关系。有了这些“脑细胞”，模型在处理任务时可能会表现得更好。 因此，在处理任务时，我们需要找到一种方式来管理这些参数之间的关系。一种常用的方法是通过正则化
这些大模型的参数就像是模型内部的“建筑师”，通过复杂的算法和训练过程，一点一滴地搭建起这个庞大的语言世界。每个参数都有它的作用，它们共同协作，让模型能够更准确地理解我们的语言，并给出更合适的回答。
那么，大模型中的参数是怎样构成的呢？
大模型参数是其“内部零件”，这些零件各有各的用途，通常包括但不限于以下几类：
这些参数一般会使用4种表达和存储的格式:
一般来说，参数的数量是影响大模型性能的主要因素。例如，13B-int8模型通常优于同一体系结构的7B-BF16模型。
对于工程师而言，面对的是大模型训练或推理时会使用多少的内存资源。尽管V100（具备32GB的GPU内存）或A100（具备40GB的GPU内存）非常强大，大模型仍然无法在单个GPU上进行训练，例如使用Tensorflow或PyTorch。
在模型训练期间，主要体现为模型状态和活动过程对内存的存储需求。模型状态包括由优化器状态、梯度和参数组成的张量。活动过程中包括在正向通道中创建的任何张量，这些张量是在反向通道中梯度计算所必需的。 为了优化内存使用，可以考虑以下几个方面： 1. 减少模型参数的数量：可以通过减小模型规模或使用稀疏矩阵等技术来减少参数的数量，并降低内存使用。 2. 优化器状态的存储：可以选择只存储必要的优化器状态，而不是保存全部状态。可以根据需要选择性地更新和存储优化器状态。 3. 修改张量的数据类型：
在训练的任何时候，对于每个模型参数，总是需要有足够的 GPU 内存来存储:
这意味着，训练时需要如下内存来存储所有的模型状态和过程数据:(x+y+12 ) * model_size
推理阶段利用预先训练好的 LLM 完成文本生成或翻译等任务。在这里，内存需求通常较低，主要的影响因素：
推理阶段所需的内存不会高于相同参数计数和类型的训练阶段所需内存的四分之一。例如，对于一个7B的模型而言，大体上，使用浮点精度需要28GB内存，使用BF16精度需要14GB内存，使用int8精度需要7GB内存。这个粗略的估计方式可以相应地应用到其他版本的模型。
另外，当根据特定任务调整 LLM 时，微调需要更高的内存占用。微调通常包括更长的训练序列来捕捉目标任务的细微差别。当 LLM 处理更多的文本数据时，这将导致更大的激活。反向传播过程需要存储用于梯度计算的中间值，这些中间值用于在训练期间更新模型的权重。与推理相比，这增加了大量的内存负担。
具体而言， 对应基于Transformer的大模型，尝试计算一下训练时所需的内存，其中设：
这里， bshp = b * s * h * p 代表了输入数据量的大小。在transformer 的线性层部分，大概需要9bshp+bsh 的空间来用于后面的激活。在attention 部分，self-attention 可以表达为：softmax((XQ)(XK)^T)XV
那么，XQ，XK，XV均需bshp大小的空间。在标准self-attention中，乘法(XQ) * (XK) ^ T 的结果只是一个包含 logit 的 b * s * s 矩阵。然而在实践中，由于使用了多头注意力机制，需要为每个头都要建立一个单独的 s * s 存储空间。这意味着需要 abssp 字节的空间，而存储 softmax 的输出也同样需要 abssp 字节。在 softmax 之后还一般需要额外的 abss 字节来存储掩码，所以 attention部分需要2abssp+abss的存储空间。
此外，transformer中还有两个Norm layer，每个仍需bshp的存储空间，共2个bshp。
所以，基于Transformer 的大模型训练所需内存大约为：L(9bshp+bsh+2abssp+abss +2bshp) = Lbshp[16+2/p+(as/h)(2+1/p)]
解释一下，训练基于Transformer 的大模型所需内存大约是：模型的层数 x 训练批次的大小 x 序列长度 x 隐藏层的维度 x 精度 x 大于16的整数
这或许就是基于Transfromer的大模型参数对训练时内存需求的一个理论下界。
有了大模型参数对内存的要求， 可以进一步估算大模型在训练和推理中所需的GPU数量。但由于GPU数量估算依赖的参数稍多，有人（Dr. Walid Soula，https://medium.com/u/e41a20d646a8）给出了一个粗略估算的简单公式， 在工程上同样有一定的参考意义。
图片
其中，
举个实际的例子，假设使用的是 NVIDIA RTX 4090 GPU，它有24GB 的 VRAM，计算一下训练‘ Llama3 7B’模型所需的 GPU 数量，大约为 :
GPU 的总数≈(7 * 18 * 1.25)/24，大约等于7
对于推理而言， 可以简化为训练阶段的1/8～1/9 , 当然，这些只是一般意义的粗略估计。
理解大模型参数的组成及其对内存和GPU的需求，有助于深入掌握分布式训练在工程实践中所面临的挑战。
采用专为分布式训练设计的框架，例如TensorFlow或PyTorch，可以显着简化分布式训练策略的实施过程，这些框架提供了丰富的工具和API。通过运用梯度累积等技术在更新模型前，或利用梯度压缩等技术减少节点间的数据交换量，可以有效降低通信成本。确定分布式训练的最佳批次大小（即前文提到的参数b）至关重要；b值过小可能增加通信开销，而过大则可能导致内存不足。
LLMOps的重要性日益凸显。定期监控为分布式训练配置的性能指标，调整超参数、分区策略和通信设置以优化性能，是提升训练效率的关键。实施模型的检查点机制并在发生故障时进行有效的恢复，可以确保训练过程在无需从头开始的情况下继续进行。
换句话说，大模型的训练/推理本质上是一个复杂的分布式系统架构工程挑战，例如：
然而，实际上大多数工程师可能并不直接参与具体的训练工作，而是关注在构建应用时可以如何利用大模型的参数。
图片
这里主要关注在使用大模型输出文本时，可以配置的三个参数：Temperature、Top-K和Top-P。
Temperature参数通常被误解为仅控制模型创造性的开关，但其实它更深层的作用是调节概率分布的“软性”。当Temperature值设置较高时，概率分布变得更柔和、均匀，这促使模型生成更多样化、具创造性的输出。反之，较低的Temperature值会使分布更尖锐，峰值更明显，从而倾向于产生与训练数据类似的输出。
Top-K参数用于限制模型在每个步骤中输出最可能的Top-K个标记，通过这种方式可以减少输出中的不连贯或无意义内容。这种策略在维持输出的最有可能的一致性与允许一定程度的创造性抽样之间形成平衡。
Top-P是另一种解码方法，它根据设定的P值（0≤P≤1）来选择一组累积概率超过P值的最小单词集合作为输出。这种方法使得选中的单词数量能够根据下一个单词的概率分布动态地增加或减少。特别地，当P值为1时，Top-P会选择所有单词，相当于从整个分布中抽样，从而产生更加多样的输出；而当P值为0时，Top-P仅选择概率最高的单词，类似于贪婪解码，使输出更加集中和一致。
这三个参数共同作用，影响模型的行为。例如，当设置Temperature=0.8、Top-K=36以及Top-P=0.7时，模型首先基于上下文计算整个词汇表的完整非规范化对数概率分布。 Temperature=0.8意味着每个对数概率除以0.8，这在归一化前有效地增加了模型对其预测的信心。 Top-K=36表示选择具有最高频比例对数概率的36个标记。接着，Top-P=0.7在这个Top-K=36集合中应用过滤，按概率从高到低保持排序，直到累积概率达到0.7。最后，将这个过滤后的集合重新归一化，用于后续的采样过程。
在工程实践中，理解大模型的参数是有意义的。参数在大模型中起着决定性的作用，它们定义了大模型的行为、性能、实现的成本以及对资源的需求。在工程上理解大模型的参数，就是要把握模型的复杂度、性能和能力之间的关系。从存储和计算的视角合理配置和优化这些参数，可以在实际应用中更好地选择和优化模型，以适应不同的任务需求和资源限制。
【参考资料】
以上是7B？13B？175B？解读大模型的参数的详细内容。更多信息请关注PHP中文网其他相关文章！
