När säkerhetsskannrar blir vapen: En analys av LiteLLM-attacken mot leverantörskedjan
LiteLLM är ett mycket populärt Python-bibliotek och proxyserver med öppen källkod som tillhandahåller ett enhetligt gränssnitt för anrop av över 100 Large Language Model (LLM) API:er, t.ex. OpenAI, Anthropic, Bedrock och VertexAI, med hjälp av OpenAI:s standardformat för in- och utdata. Det förenklar integrationen av flera LLM och erbjuder funktioner som automatiska fallbacks, omförsök och kostnadsspårning. Eftersom det fungerar som en API-gateway, fungerar det som en referensaggregator genom design, och håller API-nycklar för olika LLM-leverantörer på ett säkert sätt.