模型接入与协议统一
把 OpenAI、Claude、Gemini、Qwen、DeepSeek、Ollama 等上游接口统一收口,业务只维护一个网关入口。
支持的上游
| 类别 | 示例 |
|---|---|
| 海外主流模型 | OpenAI(GPT 系列)、Anthropic Claude、Google Gemini |
| 国产模型 | 通义千问 Qwen、DeepSeek、以及其他兼容 OpenAI 协议的服务 |
| 本地 / 私有部署 | Ollama 本地节点、自建推理服务、私有代理通道 |
统一 OpenAI 兼容协议
APIPIG 对外统一暴露 OpenAI 兼容协议。无论上游是哪家模型,业务侧都用同一套请求格式调用:
POST /v1/chat/completions
POST /v1/embeddings
POST /v1/completions
这意味着:现有基于 OpenAI SDK 的代码,只需把 base_url 指向网关地址,无需为每个上游单独适配。
配置一个新渠道
在 config.yaml 的 channels 中新增一项即可接入新的上游模型:
channels:
- name: qwen-main
provider: qwen
base_url: https://dashscope.aliyuncs.com/compatible-mode/v1
api_key: sk-****
- name: local-ollama
provider: ollama
base_url: http://127.0.0.1:11434/v1
# 本地节点通常无需 api_key
通道切换与失败回退
通过路由策略,可以在不改动业务代码的前提下完成上游切换:
routing:
default: qwen-main # 默认走 Qwen
fallback: local-ollama # Qwen 异常时回退到本地节点
canary:
channel: openai-main
percent: 10 # 10% 流量灰度到 OpenAI
模型接入完成后,建议阅读 密钥托管 保障凭证安全。