2024年编码的LLM：价格，性能和争取最佳的战斗

用于编码的大语言模型（LLM）的快速发展的景观

提供了丰富的选择的开发人员。 该分析比较了可以通过公共API访问的顶级LLM，重点是通过HumaneVal和Real-Word Elo Scores等基准测量的编码实力。 无论您是构建个人项目还是将AI集成到工作流程中，了解这些模型的优势和劣势对于明智的决策至关重要。

> LLM比较的挑战

> 由于频繁的模型更新（即使是次要的表现），LLMS的固有随机性导致结果不一致以及基准设计和报告的潜在偏见，因此很难进行直接比较。 该分析代表了基于当前可用数据的最佳及时比较。

>

评估指标：HumaneVal和Elo分数： > 此分析利用两个关键指标：

HumaneVal：根据给定要求评估代码正确性和功能的基准测试。 它可以衡量代码完成和解决问题的能力。
• ELO分数（Chatbot Arena-仅编码）：来自人类所判断的头对头LLM比较。 较高的ELO分数表明相对性能出色。 100分的差异表明高评分模型的获胜率约为64％。
• 性能概述：

OpenAI的模型始终在人道主义和ELO排名中均始终如一，展示了出色的编码功能。 o1-mini模型令人惊讶地超过了两个指标中较大的

o1

模型。 其他公司的最佳模型表现出可比的性能，尽管落后于Openai。

>基准与现实世界的性能差异：

>人道和ELO分数之间存在显着的不匹配。 某些模型，例如Mistral's

Mistral大型，在人类事件上的表现要比现实世界中的使用情况更好（潜在的过度拟合），而其他模型（例如Google的 gemini 1.5 pro ）都显示了相反的趋势（基准中的低估）。这突出了仅依赖基准的局限性。 阿里巴巴和Mistral模型通常过于拟合基准，而Google的模型由于强调公平评估而被低估了。 元模型在基准和现实世界的性能之间表现出一致的平衡。>

平衡性能和价格：

>

> Pareto Front（最佳性能和价格平衡）主要具有OpenAI（高性能）和Google（货币价值）模型。 META的开源美洲驼模型，基于云提供商平均价格，也显示出竞争价值。

其他洞察力：

LLM始终提高性能和成本降低。尽管开源模型正在赶上，但专有模型仍保持优势。 即使是较小的更新也会显着影响性能和/或定价。

结论：

编码LLM景观是动态的。 开发人员应定期评估最新模型，考虑性能和成本。 了解基准的局限性和优先考虑多样化的评估指标对于做出明智的选择至关重要。 该分析提供了当前状态的快照，并且连续监测对于在这个快速发展的领域保持领先地位至关重要。

以上是2024年编码的LLM：价格，性能和争取最佳的战斗的详细内容。更多信息请关注PHP中文网其他相关文章！