自适应分类器：通过智能查询路由降低 LLM 成本（已证明可以节省成本）

令人兴奋的消息！ 一个新的开源库adaptive-classifier将彻底改变您的LLM部署成本优化。这个聪明的库根据模型的复杂性在模型之间动态路由查询，通过实际使用不断学习和完善其路由策略。

我们对 arena-hard-auto 数据集的测试（使用高成本和低成本模型，成本差异为 2 倍）取得了显着的结果：

• 启用适应性后，成本显着降低了 32.4%。
• 保持与基线相同的总体成功率 (22%)。
• 展示了令人印象深刻的学习能力，在评估过程中成功适应了 110 个新示例。
• 成功将 80.4% 的查询引导至更经济的模型。

这对于具有多个 Llama 模型（例如 Llama-3.1-70B 和 Llama-3.1-8B）的环境来说是理想的选择，在这种环境中，成本优化在不影响性能的情况下至关重要。 该库与基于变压器的模型无缝集成，并具有内置状态持久性以提高效率。

探索存储库以获取实施细节和基准数据。我们热切等待您试用后的反馈！

存储库 - https://www.php.cn/link/bbe2977a4c5b136df752894d93b44c72

以上是自适应分类器：通过智能查询路由降低 LLM 成本（已证明可以节省成本）的详细内容。更多信息请关注PHP中文网其他相关文章！