这里聚合了 2 个与 llm-gateway 相关的开源项目,适合快速判断哪些工具值得继续深入。
高星代表
OmniRoute 是一个开源 AI 网关服务,提供统一 API 端点接入 60+ LLM 提供商,通过智能路由、自动回退和负载均衡实现低成本、高可用的 AI 推理,支持多模态与多种协议集成。
New API 是一个统一的 AI 模型网关与资产管理平台,支持将多种大语言模型(如 OpenAI、Claude、Gemini)转换为统一兼容格式,实现模型的聚合、分发、计费与多租户管理,适用于个人与企业级 AI 服务集成。