AI Model Transfer Hub
企业级多模型统一网关

开源、高性能、生产就绪的 AI 模型路由基础设施 — 用统一接口访问所有主流大模型

cngamesdk/model-transfer-hub License: MIT 2026-06-25
GitHub 仓库 快速开始

项目背景

当多模型成为常态,单一接入点成为瓶颈

2025 年以来,大模型生态进入了真正的多极时代。OpenAI 的 GPT-5、Anthropic 的 Claude Opus 4.6、Google 的 Gemini 3、DeepSeek R-2 等模型各有所长,企业在实际业务中往往需要同时使用多个模型——用 Claude 做代码生成、用 GPT 做内容创作、用专业模型做垂直任务。

然而,多模型架构带来了一个绕不开的工程难题:每个 AI 提供商的 API 协议、认证方式、流式响应格式各不相同。团队若想同时接入三个模型,就需要维护三套不同的 SDK 调用逻辑、三套错误处理机制、三套流式响应解析代码。这还只是开始——当需要统一管理 API Key、监控用量、控制成本、切换模型时,复杂度呈指数级增长。

Model Transfer Hub(MTH) 正是为解决这一痛点而生的。它是一个轻量级、高性能的 AI 模型统一代理网关,在客户端和多个 AI 提供商之间建立了一个智能路由层,让团队可以用统一的接口访问不同厂商的模型,彻底告别"每接入一个模型就要重写一套代码"的时代。

核心优势

不只是"转发",而是一整套企业级能力

双协议原生支持,无缝适配所有主流工具

MTH 同时支持 OpenAI Chat Completions API 和 Anthropic Messages API,这意味着:

流式响应智能转换,传输零损耗

流式(SSE)响应的格式转换是工程上最棘手的问题之一。OpenAI 和 Anthropic 的 SSE 格式完全不同——一个用 data: 行,一个用 event: 行;一个用 delta 对象,一个用 content_block_delta 事件。

MTH 基于 io.Pipe 实现了零拷贝式的流式格式转换,将 Anthropic SSE 实时转换为 OpenAI SSE,同步提取 input_tokensoutput_tokens 用量,不给响应链路增加任何感知延迟。

精细化用量统计,让每一分钱都有迹可循

企业使用 AI 模型最大的隐形成本不是 API 单价,而是缺乏用量可视化导致的资源浪费。MTH 精确记录每一次 API 调用的:

输入 Token

精确记录 prompt_tokens,细化成本归因

输出 Token

完整记录 completion_tokens,分析输出成本

请求耗时

毫秒级精度,监控服务质量与性能

链路追踪 ID

全链路 X-Trace-Id,故障排查一条龙

所有数据实时写入 MySQL,可直接接入 BI 看板进行成本分析和异常预警。

开箱即用的企业级治理能力

架构设计

分层解耦,适配器模式驱动

MTH 采用经典的中间件 + 适配器架构,整体分为四层:

Client (OpenAI SDK / Claude Code / Custom App)
Trace
Logger
TokenAuth
RateLimit
Middleware Pipeline (接入层)
/v1/chat/completions
/v1/messages
/v1/completions
Handler (路由层)
ProxyService (适配器选择 · 请求转发 · 用量记录 · 配额更新)
服务层
OpenAI Adapter
Anthropic Adapter
Google Adapter
Adapter Layer (适配器层)
api.openai.com
api.anthropic.com
...
AI Providers

接入层(Middleware Chain)

Trace → Logger → TokenAuth → RateLimit → Handler

所有请求依次经过链路追踪注入、日志记录、Token 验证、限流检查,确保安全和可观测性。

路由层(Handler)

根据请求路径分流到不同处理器:

服务层(ProxyService)

核心编排引擎,负责适配器选择、请求转发、用量记录、Token 配额更新。所有横切关注点在此层统一处理。

适配器层(Adapter Layer)

面向不同 AI 提供商的可插拔适配器,每个适配器实现统一的 Adapter 接口:

新增提供商只需实现接口,配置中声明模型即可生效。

使用场景

从团队工具到企业级部署,覆盖 AI 落地的每一个阶段

AI 编程工具的统一后端

团队使用 Claude Code、Cursor、Cline 等 AI 编程工具时,只需配置两个环境变量即可接入 MTH:

export ANTHROPIC_AUTH_TOKEN="sk-your-token"
export ANTHROPIC_BASE_URL="https://ai.yourcompany.com"

MTH 自动将请求路由到配置的 Anthropic 模型,团队无需关心底层 API 细节。管理员可以:

  • 在配置文件中一键切换模型(如从 claude-3-sonnet 升级到 claude-opus-4-6)
  • 通过用量日志了解每个开发者的 Token 消耗
  • 设置配额上限防止成本失控

多模型 SaaS 产品的 API 网关

如果你的产品需要同时对接多个 AI 模型,MTH 是最理想的 API 网关层:

  • 统一暴露 OpenAI 兼容接口,前端/后端只需一套 SDK
  • 后端灵活路由到不同模型,甚至可以按请求特征动态选择模型
  • 完整的用量统计让成本核算和定价策略有数据支撑
  • 限流机制保护上游 API Key 不被滥用

企业内部 AI 能力平台

中大型企业面临"如何安全地让多个部门使用 AI"的治理难题。MTH 提供:

  • 按部门/项目分配独立 Token,各自有独立的配额和使用上限
  • 全链路可追溯——每次 API 调用都有 Trace ID,出问题时精准定位
  • 可视化的用量看板(对接 BI 工具),管理层一目了然
  • 统一的限流策略,避免个别部门的异常调用影响整体服务

AI 模型评测与 A/B 测试

MTH 的配置驱动模型路由机制天然适合做模型对比测试:

  • 修改配置文件即可将流量切换至不同模型
  • 用量日志记录了每个模型的实际表现(延迟、成功率等)
  • 同一套接口下对比多个模型的输出质量,选型决策有数据支撑

一分钟快速部署

只需要三步即可启动你自己的模型网关

第一步:克隆仓库

git clone https://github.com/cngamesdk/model-transfer-hub.git

第二步:配置

cp config.example.yaml config.dev.yaml

填入数据库连接和 API Key

第三步:启动

go run cmd/server/main.go -c config.dev.yaml

服务默认监听 :8080,启动后自动创建数据库表。配置 dev_mode: true 可在本地开发时跳过 Token 认证。

技术栈

现代、精简、生产就绪的技术选型

语言
Go 1.25
Web 框架
Gin v1.12
数据库
MySQL 5.6+ / GORM
日志
Zap
配置
Viper
链路追踪
X-Trace-Id
限流算法
令牌桶
协议
HTTP + SSE

开源与社区

Model Transfer Hub 采用 MIT 协议开源,代码完全免费,可用于商业项目。AI 基础设施应该像水和电一样普惠——好的网关层不应该被锁在某个公司的私有仓库里。

GitHub 仓库 提交 Issue 返回首页