LiteLLM - 长风

LiteLLM 是一款开源的大模型代理服务器（AI 网关），可以提供统一的接口调用所有支持 OpenAI 的大模型服务，并带有一个管理界面，支持负载均衡、密钥管理和日志记录等功能。

部署

通过 docker compose部署

先创建 litellm_config.yaml 文件，这里以添加通过 [[vLLM]] 部署的 [[Qwen3.5]] 模型为例：

1
general_settings:
2
  master_key: os.environ/LITELLM_MASTER_KEY
3
  ui_password: os.environ/LITELLM_UI_PASSWORD
4
  ui_username: admin
5
litellm_settings:
6
  public_model_groups_links: {}
7
model_list:
8
  - model_name: Qwen3.5-122B
9
    litellm_params:
10
      model: hosted_vllm/Qwen3.5-122B
11
      api_base: os.environ/API_BASE
12
      api_key: os.environ/API_KEY
13
      extra_body:
14
        chat_template_kwargs:
15
          enable_thinking: false

再创建带数据库版本的 [[docker-compose]] 配置文件：

1
services:
2
  postgres:
3
    container_name: litellm-db
4
    image: postgres:16
5
    restart: unless-stopped
6
    environment:
7
      - POSTGRES_USER=litellm
8
      - POSTGRES_PASSWORD=${POSTGRES_PASSWORD}
9
      - POSTGRES_DB=litellm
10
    volumes:
11
      - postgres_data:/var/lib/postgresql/data
12
    healthcheck:
13
      test: [ "CMD-SHELL", "pg_isready -U litellm -d litellm" ]
14
      interval: 10s
15
      timeout: 5s
16
      retries: 5
17

18
  litellm:
19
    container_name: litellm
20
    image: ghcr.io/berriai/litellm:main-stable
21
    ports:
22
      - "4000:4000"
23
    volumes:
24
      - ./litellm_config.yaml:/app/config.yaml
25
    environment:
26
      - LITELLM_MASTER_KEY=${LITELLM_MASTER_KEY}
27
      - LITELLM_UI_PASSWORD=${LITELLM_UI_PASSWORD}
28
      - VLLM_BASE_URL=${API_BASE}
29
      - VLLM_API_KEY=${API_KEY}
30
      - STORE_MODEL_IN_DB=True
31
      - DATABASE_URL=postgresql://litellm:${POSTGRES_PASSWORD}@postgres:5432/litellm
32
    command: --config /app/config.yaml --port 4000
33
    depends_on:
34
      postgres:
35
        condition: service_healthy
36

37
volumes:
38
  postgres_data:

如果不需要 [[FastAPI]] 提供的文档，可以在环境变量加入 - NO_DOCS=True 关闭。

最后创建 .env 文件，用于存储环境变量：

1
LITELLM_MASTER_KEY=sk-42
2
LITELLM_UI_PASSWORD=password
3
POSTGRES_PASSWORD=password
4
API_BASE=http://ip:port/v1
5
API_KEY=sk-42

LITELLM_MASTER_KEY: LiteLLM 主密钥
LITELLM_UI_PASSWORD: LiteLLM UI 密码
API_BASE: API URL (带 v1 后缀)
API_KEY: API 密钥
POSTGRES_PASSWORD: PostgreSQL 密码

注：上面部署的是带数据库版本的 LiteLLM，模型是可以直接在 UI 中添加的，因此在 litellm_config.yaml 文件中的 model_list 字段部分不是必须的，相对应的变量也是可以直接移除，可以参考 [[litellm.yml]] 中的配置。

config 配置

store_model_in_db：启用数据存储，开启后才能在 UI 中添加模型，默认为 False

参考

LiteLLM - Getting Started | liteLLM