Wenn Sicherheitsscanner zur Waffe werden: Eine Analyse des LiteLLM-Angriffs auf die Lieferkette
LiteLLM ist eine beliebte Open-Source-Python-Bibliothek und ein Proxy-Server, der eine einheitliche Schnittstelle für den Aufruf von mehr als 100 Large Language Model (LLM)-APIs wie OpenAI, Anthropic, Bedrock und VertexAI bietet, wobei das standardmäßige OpenAI-Eingabe-/Ausgabeformat verwendet wird. Es vereinfacht die Integration mehrerer LLMs und bietet Funktionen wie automatische Fallbacks, Wiederholungsversuche und Kostenverfolgung. Da es als API-Gateway fungiert, fungiert es von vornherein als Credential Aggregator, der API-Schlüssel für verschiedene LLM-Anbieter sicher verwahrt.