OmniRoute 本地模型代理快速入门指南

📖 版本:v3.8.51 | 更新时间:2026-09-27
🎯 目标:5 分钟内搭建本地免费 AI 网关


1️⃣ 安装运行

方式 A:npm(推荐)

# 全局安装
npm install -g omniroute

# 启动服务
omniroute

方式 B:Docker

docker run -d --name omniroute \
  -p 127.0.0.1:20128:20128 \
  -v omniroute-data:/app/data \
  diegosouzapw/omniroute:latest

访问地址


2️⃣ 连接免费提供商(零配置)

首次启动后,在 Dashboard 中连接免费提供商:

  1. 访问 http://localhost:20128
  2. 点击左侧 Providers 菜单
  3. 点击 Connect 按钮选择免费提供商:
    • OpenCode Free:无需认证
    • Z.AI / Zhipu (glm-cn):GLM-4-Flash / 4.5-Flash / 4.7-Flash 永久免费 + 20M 注册奖励
    • NVIDIA NIM:GLM, MiniMax ~40 RPM 免费
    • Mistral:~1B tokens/月

3️⃣ 配置编码工具

在 Claude Code、Codex、Cursor、OpenCode 等工具中配置 OmniRoute:

配置项值
Base URLhttp://localhost:20128/v1
API Key从 Dashboard → Endpoints 复制
Modelauto(智能路由)或指定提供商模型

示例(Claude Code)

# 在 Claude Code 配置文件中设置
export ANTHROPIC_BASE_URL="http://localhost:20128/v1"
export ANTHROPIC_API_KEY="YOUR_OMNIROUTE_API_KEY"

4️⃣ 验证安装

curl http://localhost:20128/v1/models \
  -H "Authorization: Bearer YOUR_OMNIROUTE_API_KEY"

如果返回模型列表,说明配置成功 ✅


5️⃣ 多手机号注册免费 API(简略说明)

Z.AI (智谱)

  1. 访问 Z.AI 官网注册账号
  2. 在控制台获取 API Key
  3. 在 OmniRoute Dashboard → Providers → 添加自定义提供商:
    • Provider Name: glm-cn
    • API Key: YOUR_ZHIPU_API_KEY
    • Base URL: https://open.bigmodel.cn/api/paas/v4

NVIDIA NIM

  1. 注册 NVIDIA 开发者账号
  2. 在 NVIDIA NIM 控制台申请免费层
  3. 获取 API Key 并在 OmniRoute 中配置

注意事项


6️⃣ Combos 多提供商组合

OmniRoute 支持 19 种路由策略,自动实现负载均衡和故障回退:

  • auto/coding:智能编码路由(默认)
  • auto/fast:优先快速响应
  • auto/cheap:优先低成本模型
  • auto/smart:综合智能路由
  • fusion:并行调用多个模型,通过 judge 综合答案
  • pipeline:模型链式调用

配置路径:Dashboard → Combos → 创建新 Combo

示例:新建 aotoFree 组合(智能路由)

  1. 访问 Dashboard → Combos → 创建新 Combo
  2. 组合名称填写 aotoFree
  3. 路由策略选择 智能路由(auto)
  4. 添加所需提供商后保存

7️⃣ 压缩功能(可选)

OmniRoute 内置 RTK + Caveman 压缩引擎,可节省 15–95% tokens:

  1. 访问 Dashboard → Context & Cache
  2. 启用 Caveman 或 RTK 压缩
  3. 设置压缩组合(如 rtk → caveman)

8️⃣ 常用命令

# 查看提供商列表
omniroute providers

# 查看组合配置
omniroute combos

# 诊断健康状态
omniroute doctor

# 重置配置
omniroute setup

📊 免费层级概览

提供商每月免费额度备注
Mistral~1B tokens首选通用模型
Nara~210M tokens多模态支持
LLM7~150M tokens代码模型
Z.AI (glm-cn)永久免费 + 20MGLM-4/4.5/4.7 Flash
NVIDIA NIM~40 RPMGLM, MiniMax

总计:~1.37B 每月免费 tokens(不含注册奖励)


🎉 完成

现在您已拥有本地免费 AI 网关,支持 359 个提供商、1200+ 模型,自动负载均衡和故障回退。

下一步:

  • 查看 Dashboard → Usage 监控使用情况
  • 探索 Combos → 配置多提供商组合
  • 启用压缩 → 节省 tokens 成本

文档来源:



标 题:《OmniRoute 本地模型代理快速入门指南》
作 者:zeekling
提 示:转载请注明文章转载自个人博客:浪浪山旁那个村

评论

取消