#vLLM

LiteLLM 是一款开源的大模型代理服务器（AI 网关），可以提供统一的接口调用所有支持 OpenAI 的大模型服务，并带有一个管理界面，支持负载均衡、密钥管理和日志记录等功能。