LiteLLM es una biblioteca Python de código abierto muy popular y un servidor proxy que proporciona una interfaz unificada para llamar a más de 100 APIs de Large Language Model (LLM), como OpenAI, Anthropic, Bedrock y VertexAI, utilizando el formato de entrada/salida estándar de OpenAI. Simplifica la integración multi-LLM, ofreciendo características como fallbacks automáticos, reintentos y seguimiento de costes. Debido a que funciona como una pasarela API, actúa como un agregador de credenciales por diseño, manteniendo de forma segura las claves API para varios proveedores LLM.