Higress

什麼是Higress？

Higress是基於Istio和Envoy的AI本機API網關。它提供功能，例如AI網關，MCP服務器託管，Kubernetes Ingress Controller，MicroService Gateway和Security Gateway，可以使用GO/Rust/JS編寫的WASM插件擴展。

如何使用Higress？

要使用Higress，將其與Kubernetes環境集成，部署API並為所需功能（例如流量管理，安全性和模型管理）配置。

Higress的核心功能

靈活的多模型開關

大型型號的內容安全性

語義緩存

多API鍵平衡

令牌配額管理

交通限制

模型的成本審核

Higress的用例

管理LLM API調用

開發AI代理

微服務中的交通管理

Higress Company

Higress Company名稱：Higress。