5步搭建AI Gateway：告别单模型依赖，从此不被任何AI厂商锁定

为什么你需要一个AI Gateway？

纳德拉刚发出的警告一针见血：依赖单一AI模型的公司最终无法生存。但对于开发者来说，这个问题更实际——今天GPT涨价了怎么办？Claude宕机了怎么办？新出了一个便宜好用的开源模型想试试怎么办？

答案是：在你的应用和AI模型之间加一个网关层。这就像数据库连接池之于数据库——你的业务代码不变，切换模型只需要改一行配置。

今天我们用LiteLLM来搭建这个网关，整个流程不超过30分钟。

前置条件

– 一台Linux服务器（Ubuntu 22.04+，云服务器或本地均可）

– Python 3.10+

– 至少一个AI模型的API Key（OpenAI/Anthropic/DeepSeek均可）

Step 1：安装LiteLLM

# 创建虚拟环境
python3 -m venv litellm-env
source litellm-env/bin/activate

# 安装LiteLLM + Proxy依赖
pip install 'litellm[proxy]'

Step 2：配置模型路由表

创建一个 `config.yaml`，把所有你想用的模型列进去：

model_list:
  - model_name: gpt-4o
    litellm_params:
      model: openai/gpt-4o
      api_key: ${OPENAI_API_KEY}

  - model_name: claude-sonnet
    litellm_params:
      model: anthropic/claude-sonnet-4-20250514
      api_key: ${ANTHROPIC_API_KEY}

  - model_name: deepseek-v3
    litellm_params:
      model: deepseek/deepseek-chat
      api_key: ${DEEPSEEK_API_KEY}

  - model_name: llama-local
    litellm_params:
      model: ollama/llama3.1
      api_base: http://localhost:11434

general_settings:
  master_key: ${LITELLM_MASTER_KEY}

这个配置的含义：你的应用只需要知道4个名字（`gpt-4o`、`claude-sonnet`、`deepseek-v3`、`llama-local`），LiteLLM会负责把它们路由到真正的API。换模型=”换一行配置”。

Step 3：启动网关

# 设置环境变量
export OPENAI_API_KEY="sk-your-openai-key"
export ANTHROPIC_API_KEY="sk-ant-your-anthropic-key"
export DEEPSEEK_API_KEY="sk-your-deepseek-key"
export LITELLM_MASTER_KEY="sk-litellm-master-key"

# 启动代理服务器（监听4000端口）
litellm --config config.yaml --port 4000

启动后你会看到：

LiteLLM: Proxy initialized. Running on http://0.0.0.0:4000

Step 4：修改你的应用代码

这是最关键的一步——你的应用代码只需要改API地址，其他不变：

import openai

# 之前：直连OpenAI
# client = openai.OpenAI(api_key="sk-xxx")

# 现在：走你的AI Gateway
client = openai.OpenAI(
    api_key="sk-litellm-master-key",
    base_url="http://your-server:4000/v1"  # ← 只改这一行
)

# 业务代码完全不变！模型名改成你在config里定义的即可
response = client.chat.completions.create(
    model="claude-sonnet",  # 用你的alias，不是官方API名
    messages=[{"role": "user", "content": "你好"}]
)
print(response.choices[0].message.content)

关键优势：换模型不需要改业务代码。 想用GPT？把 `model` 改成 `”gpt-4o”`。想用开源模型？改成 `”llama-local”`。一行代码搞定。

Step 5：加上负载均衡和故障转移（可选但推荐）

进阶配置：同一个模型部署多个实例，自动负载均衡和故障转移：

model_list:
  - model_name: gpt-balancer
    litellm_params:
      model: openai/gpt-4o
      api_key: ${OPENAI_API_KEY}
      rpm: 500  # 每分钟最大请求数

  - model_name: gpt-balancer
    litellm_params:
      model: openai/gpt-4o
      api_key: ${OPENAI_API_KEY_BACKUP}
      rpm: 500

router_settings:
  routing_strategy: "usage-based"  # 按用量分配
  allowed_fails: 3                  # 连续失败3次后切换
  num_retries: 2                    # 每次请求重试2次

生产环境部署建议

# 用Docker一键部署（推荐生产环境）
docker run -d \
  --name litellm-gateway \
  -p 4000:4000 \
  -v $(pwd)/config.yaml:/app/config.yaml \
  -e OPENAI_API_KEY=$OPENAI_API_KEY \
  -e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
  ghcr.io/berriai/litellm:main-latest

验证是否成功

# 通过你的网关调用不同模型
curl -X POST http://localhost:4000/v1/chat/completions \
  -H "Authorization: Bearer sk-litellm-master-key" \
  -H "Content-Type: application/json" \
  -d '{"model": "claude-sonnet", "messages": [{"role": "user", "content": "测试"}]}'

如果返回正常的AI回复，说明网关搭建成功。

你得到了什么？

| 能力 | 说明 |

|——|——|

| 模型切换 | 改一行配置，不碰代码 |

| 成本控制 | 网关可设置预算上限和告警 |

| 故障转移 | 主模型宕机自动切备用 |

| 请求缓存 | 相同问题不重复计费 |

| 日志审计 | 所有请求记录在本地，数据不外泄 |

常见问题

– Q: 会不会增加延迟？ A: 网关是本地或内网部署的，额外延迟通常低于50毫秒，几乎无感。我们实测从直连OpenAI改为经LiteLLM代理，首次请求延迟仅增加约30ms，后续请求因连接复用几乎没有额外开销。

– Q: 支持流式输出吗？ A: 完全支持。LiteLLM透明转发SSE事件流，用户体验与直连模型完全一致，打字机效果不会丢失。

– Q: 和我现有的LangChain/LlamaIndex冲突吗？ A: 不冲突。两者都能通过相同的 `base_url` 方式接入网关，甚至可以在网关层做更精细的模型选择和成本控制。

– Q: 生产环境需要注意什么？ A: 三点：①用Docker部署确保环境一致性；②配置Redis做请求缓存（降低成本30-50%）；③开启访问日志用于审计和成本分析。建议至少分配2核4G内存的服务器资源。

— END —
LC 智趣厅 · 科技与生活的交点
ihygg.cn