1. 项目定位与用途
Free Router 是一款本地部署的 OpenAI 兼容网关,核心作用是为任意 OpenAI 兼容客户端提供统一的免费大模型调用入口。它可对接多个符合 OpenAI 规范的模型提供商,自动对当前可用的免费模型进行排名,在单个提供商出现速率限制、宕机或无可用模型时自动完成故障转移,无需用户手动切换服务商。所有服务商的 API 密钥仅存储在本地机器,不会上传至任何第三方,保障密钥安全。
www222fff/free-router:Free Router 是一款本地 OpenAI 兼容网关,可统一对接多个提供商的免费模型,自动排名并故障转移,让任意 OpenAI 兼容客户端本页整理它解决什么问题、适用场景、安装方式和使用方法。
Free Router 是一款本地 OpenAI 兼容网关,可统一对接多个提供商的免费模型,自动排名并故障转移,让任意 OpenAI 兼容客户端无需修改配置即可稳定调用免费大模型。
Free Router 是一款本地部署的 OpenAI 兼容网关,核心作用是为任意 OpenAI 兼容客户端提供统一的免费大模型调用入口。它可对接多个符合 OpenAI 规范的模型提供商,自动对当前可用的免费模型进行排名,在单个提供商出现速率限制、宕机或无可用模型时自动完成故障转移,无需用户手动切换服务商。所有服务商的 API 密钥仅存储在本地机器,不会上传至任何第三方,保障密钥安全。
Free Router 解决了多提供商免费模型使用时的多重痛点:一是不同提供商的 API 规范存在差异,用户需要分别适配不同接口,使用成本高;二是免费模型普遍存在速率限制、服务不稳定等问题,手动切换服务商效率极低;三是多服务商密钥分散管理,容易遗漏或泄露。该网关通过统一 OpenAI 兼容接口、自动故障转移、本地统一密钥管理,大幅降低了免费大模型的使用门槛。
Free Router 适用于以下场景:个人开发者需要低成本调用多个提供商的免费大模型,无需分别对接不同 API;小团队需要统一管理多提供商免费模型的调用入口,避免单服务商故障影响业务;任意 OpenAI 兼容客户端(包括 Hermes、Cursor、curl、各类 SDK 等)需要无需修改配置即可调用免费模型的场景;对密钥安全性要求高,不希望密钥上传至第三方服务器的用户。
Free Router 运行环境要求 Node.js 20 及以上版本。本地部署步骤为:1. 克隆仓库到本地目录;2. 将 .env.example 复制为 .env,填写至少一个提供商的 API 密钥;3. 执行 ./start.sh 即可启动服务,执行 ./stop.sh 可停止服务。Docker 部署方式为执行 docker compose up -d,服务密钥会通过本地 .env 文件注入,不会 baked 进镜像,保障密钥安全。
启动服务后,任意 OpenAI 兼容客户端只需将 API 地址指向 http://127.0.0.1:8787/v1,模型参数填写 free-best 即可自动调用当前最优可用的免费模型。执行 ./models.sh 可查看当前 free-best 的模型排名,执行 ./models.sh --usage 可查看当日配额使用情况。打开 http://127.0.0.1:8787/ 可进入 Web UI,用于管理服务商密钥、查看用量统计。
Free Router 支持可插拔的提供商配置,新增提供商只需在 config.json 中添加对应配置块,同时在 .env 中添加对应格式的 API 密钥即可扩展。项目提供基础功能测试脚本,执行 npm test 即可运行 smoke 测试验证核心功能。同时提供 systemd 服务配置文件 free-router.service,可配置为系统服务长期运行,无需手动启动。
至少配置一个提供商的 API 密钥即可启动使用,未配置密钥的提供商会自动跳过,不影响其他提供商的正常使用。
不需要,只需将任意 OpenAI 兼容客户端的 API 地址指向 http://127.0.0.1:8787/v1,模型参数填写 free-best 即可,无需额外修改客户端配置。
不会,所有服务商的 API 密钥仅存储在本地机器,不会上传至任何第三方服务器,Docker 部署时密钥也会通过本地 env 文件注入,不会 baked 进镜像。
执行 ./models.sh 可查看当前 free-best 的模型排名,执行 ./models.sh --usage 可查看当日各提供商的配额使用情况,也可打开 Web UI 查看。
支持,只需在 config.json 中添加对应提供商的配置块,同时在 .env 中添加对应格式的 API 密钥即可扩展新的符合 OpenAI 规范的提供商。