En AI-agent som kan läsa din inkorg, uppdatera kundregister eller köra kod behöver mer än bara en välformulerad uppsättning instruktioner. Den behöver tydliga gränser för vad den får komma åt, ändra och dela.
Att koppla AI till affärssystem skapar möjligheter att minska manuellt arbete och påskynda beslutsfattandet. Det skapar också vägar för angripare att manipulera dessa beslut, stjäla information eller utlösa åtgärder genom legitima verktyg.
OWASP Top 10 för agentbaserade applikationer utgör ett ramverk för att förstå och bedöma säkerhetsriskerna med AI-agenter. Med utgångspunkt i dessa riktlinjer undersöker vi tio centrala hot och de praktiska åtgärder som organisationer kan vidta för att hantera dem.
En AI-agent är ett mjukvarusystem som använder artificiell intelligens för att utföra uppgifter på uppdrag av en användare eller organisation. Den kan tolka ett mål, besluta vilka åtgärder som ska vidtas och använda anslutna verktyg för att genomföra dem, med varierande grad av mänsklig övervakning.
En agent som är ansluten till din inkorg, kunddatabas eller molnmiljö behöver tydliga gränser för vad den får komma åt, ändra och dela. Utan dessa kontroller kan en skadlig instruktion eller ett felaktigt beslut leda till att data exponeras, obehöriga transaktioner genomförs eller verksamheten störs.
Säkerhet för AI-agenter är praxis för att skydda AI-system som kan planera uppgifter, använda verktyg och vidta åtgärder på uppdrag av användare eller organisationer. Det omfattar själva agenten, dess anslutna applikationer, dess åtkomstbehörigheter och den information den bearbetar.
En chatbot som endast kan svara på frågor har en annan riskprofil än en agent som har behörighet att skicka e-post, ändra konfigurationer eller godkänna transaktioner. När AI kan agera kan ett felaktigt eller manipulerat svar leda till en incident i verksamheten.
Promptinjektion inträffar när skadliga instruktioner påverkar ett AI-systems beteende. När det gäller agenter kan dessa instruktioner komma indirekt via en webbsida, ett e-postmeddelande, ett dokument eller ett verktygssvar som agenten stöter på under en legitim uppgift.
En agent som granskar ett leverantörsdokument kan till exempel stöta på instruktioner som uppmanar den att hämta konfidentiell information och skicka den vidare. Angriparen försöker omvandla material som agenten ska analysera till kommandon som den följer.
Detta är en fortlöpande säkerhetsutmaning, och skyddsåtgärder på modellnivå räcker inte för att eliminera risken.
Så här minskar du risken: Behandla externt innehåll som opålitligt. Begränsa vilka verktyg och mål agenten kan använda, granska misstänkta indata och kräv godkännande för känsliga åtgärder. Tillämpa åtkomstbegränsningar utanför språkmodellen så att manipulerade instruktioner inte enkelt kan åsidosätta dem.
En agent blir farligare när dess behörigheter överskrider dess syfte. En rapporteringsassistent kan behöva läsa finansiella register, men har ingen anledning att redigera dem eller initiera betalningar.
Samma princip gäller för autonomi. Även en auktoriserad åtgärd kan behöva mänskligt godkännande om den innebär att radera poster, ändra säkerhetsinställningar eller ingå ett externt åtagande.
OWASP identifierar överdriven funktionalitet, behörigheter och autonomi som underliggande orsaker till överdriven handlingsfrihet.
Så här minskar du risken: Definiera den minsta åtkomst som krävs för varje uppgift. Separera läs- och skrivbehörigheter, begränsa tillgängliga funktioner och inför godkännandesteg som står i proportion till den potentiella påverkan. Granska behörigheterna varje gång en agents ansvarsområden ändras.
En AI-agent kan fungera via tjänstekonton, API-nycklar, åtkomsttoken eller behörigheter som delegerats av en användare. Om dessa inloggningsuppgifter stjäls eller missbrukas kan en angripare få tillgång till samma anslutna system.
Delade identiteter försvagar också ansvarsskyldigheten. Om flera agenter använder ett enda konto med omfattande behörigheter blir det svårare att identifiera vilken agent som utförde en åtgärd, vem som godkände den och vilken åtkomst som behöver återkallas.
NIST:s arbete kring AI-agenters identitet och auktorisering speglar vikten av att tillämpa identitetskontroller på dessa system.
Så här minskar du risken: Ge agenterna distinkta, spårbara identiteter där detta stöds, med namngivna ägare och definierade livscykler. Använd kortvariga autentiseringsuppgifter med snävt omfattning och säker hantering av hemligheter. Bevara kopplingen mellan en agents åtgärder och den användare eller process som godkände dem.
Agenter kan sammanföra information från flera affärssystem. Utan lämpliga begränsningar kan de exponera personuppgifter, konfidentiella dokument eller affärskänslig information genom svar, meddelanden, loggar eller anslutna tjänster.
Tänk dig en kundtjänstmedarbetare som hämtar en intern kontantanteckning och inkluderar den i ett externt svar. Läckaget kan bero på bristfällig åtkomstkontroll eller ett felaktigt beslut, utan att någon angripare är inblandad. Läckage av känslig information är en erkänd risk i LLM-applikationer.
Så här minskar du risken: Tillämpa dataklassificering och åtkomstkontroller innan informationen når agenten. Begränsa hämtningen till den relevanta användaren, kunden och uppgiften. Använd kontroller för att förhindra dataförlust, begränsa utgående destinationer och kontrollera hur leverantörer och integrationer hanterar lagring och loggning.
Agenter är beroende av komponenter utöver den underliggande modellen, inklusive programvarubibliotek, plugins, kopplingsmoduler och externa tjänster. Ett sårbart eller komprometterat beroende kan undergräva en i övrigt välkontrollerad driftsättning.
MCP-servrar (Model Context Protocol), som används för att ansluta agenter till verktyg och data, ingår också i denna bedömning. Även en smidig integration måste granskas noggrant vad gäller behörigheter, beteende och underhåll.
Säkerheten i AI-leveranskedjan måste därför omfatta såväl komponenterna kring modellen som själva modellen.
Så här minskar du risken: För en förteckning över godkända beroenden och integrationer. Verifiera deras ursprung, utvärdera begärda behörigheter, övervaka sårbarheter och granska uppdateringar. Testa ändringar före driftsättning, särskilt när en integration kan utföra kommandon eller få åtkomst till känslig information.
En agents beslut beror på den information den tar emot och lagrar. Angripare kan manipulera kunskapskällor eller lagrat minne så att vilseledande innehåll påverkar senare uppgifter.
Till exempel kan en falsk instruktion som sparats som en betrodd inställning upprepade gånger styra om agentens beteende. Till skillnad från en enstaka skadlig uppmaning kan ihållande föroreningar påverka efterföljande sessioner. OWASP räknar in minnes- och kontextförgiftning bland säkerhetsriskerna för agenter.
Så här minskar du risken: Kontrollera vem som får uppdatera kunskapskällor och agentens minne. Dokumentera var informationen har sitt ursprung, spara versionshistorik och kräv validering innan opålitligt innehåll blir bestående riktlinjer. Gör det möjligt att ta bort förorenade poster och återställa till ett tillstånd som bekräftats vara felfritt.
Agenter som genererar kod, databasfrågor eller kommandon medför risker när deras utdata går direkt till exekvering.
En till synes rimlig begäran kan resultera i ett osäkert kommando eller en fråga med felaktigt omfång. Skadliga indata kan också utnyttja svag validering för att nå nedströms system. OWASPs riktlinjer om felaktig hantering av utdata beskriver hur otillräcklig granskning kan möjliggöra injektionsattacker och kodkörning.
Så här minskar du risken: Behandla genererade utdata som opålitliga indata. Validera verktygsargument, använd parametriserade databasfrågor och begränsa körningen till isolerade miljöer. Föredra snävt definierade operationer framför obegränsad shell-åtkomst, och håll produktionshemligheter utanför körningsmiljöerna om det inte uttryckligen krävs.
När flera agenter samverkar kan ett misstag eller en säkerhetsöverträdelse hos en påverka de andra. En forskningsagent kan komma fram till en felaktig slutsats som en annan agent accepterar som auktoritet för att uppdatera ett system.
Detta skapar en risk för att fel sprider sig genom ett arbetsflöde, särskilt där agenter delar minne, verktyg eller omfattande behörigheter. En lyckad överlämning innebär inte att den underliggande informationen eller den begärda åtgärden är tillförlitlig.
Så här minskar du risken: Autentisera agenternas kommunikation och validera förfrågningar vid varje överlämning. Bevara information om källor och auktorisering. Ge varje agent endast den åtkomst som krävs för dess roll, och inför kontrollpunkter innan en beslutskedja leder till en åtgärd med stor påverkan.
Agenters arbetsflöden kan upprepade gånger anropa modeller, göra förfrågningar till tjänster eller skapa ytterligare uppgifter. Bristfälliga stoppvillkor, oväntade indata eller avsiktligt missbruk kan leda till överdriven förbrukning.
Resultatet kan bli eskalerande kostnader, uttömda API-kvoter och minskad tillgänglighet för andra användare. OWASP beskriver den mer övergripande risken med okontrollerad användning av modellresurser som obegränsad förbrukning.
Så här minskar du risken: Ställ in gränser som kan upprätthållas för utgifter, körtid, omförsök, samtidiga uppgifter och verktygsanrop. Skicka varningar vid ovanlig aktivitet och stoppa arbetsflöden som överskrider överenskomna tröskelvärden. Testa felvillkor, inklusive otillgängliga tjänster och upprepade misslyckade åtgärder, innan du utökar driftsättningen.
En agent kan orsaka skada utan att ha komprometterats. Den kan missförstå en begäran, arbeta utifrån ofullständig information eller välja en olämplig åtgärd. Överdrivet förtroende förvandlar dessa fel till operativ risk.
Mänskligt godkännande hjälper endast när granskaren kan se vad som kommer att hända. Ett vagt bekräftelsemeddelande är otillräckligt för en betalning, åtkomständring eller massradering. Övervakning är lika viktigt: teamen måste fastställa vad agenten faktiskt gjorde.
Så här minskar du risken: Visa granskarna den föreslagna åtgärden, berörda system och relevant bevisning. Logga verktygsanrop, godkännanden och resultat, samtidigt som du skyddar känsligt logginnehåll. Ge insatspersonal beprövade rutiner för att stänga av agenter, återkalla behörigheter, bevara bevis och återställa ändringar där det är möjligt.
Börja med de agenter som kombinerar åtkomst till känslig data, kraftfulla verktyg och förmågan att agera utan godkännande. En assistent som besvarar frågor utifrån offentliga dokument utgör en annan risknivå än en agent som ändrar produktionssystem.
Fastställ följande för varje driftsättning:
Använd dessa svar för att prioritera testning och åtgärdande. Omvärdera situationen varje gång modeller, verktyg, behörigheter eller arbetsflöden ändras, eftersom omfattningen av en agents åtkomst kan utvidgas långt efter det initiala godkännandet.
Varje ny anslutning ökar vad en agent kan åstadkomma. Det kan också öka konsekvenserna av ett misstag eller en säkerhetsöverträdelse. Säkerhetsbesluten måste hålla jämna steg med den växande åtkomsten.
För företag som inför agentbaserad AI är prioriteringarna tydliga: hantera agenternas identiteter, skydda känslig data, begränsa åtgärder och synliggöra aktiviteten för de personer som ansvarar för att försvara organisationen.
Kontakta Integrity360 för att säkra införandet av AI inom identitet, data och affärsverksamhet.
Vad är skillnaden mellan AI-säkerhet och AI-agent-säkerhet?
AI-säkerhet omfattar skyddet av AI-modeller, data och applikationer. AI-agentsäkerhet lägger särskild tonvikt på system som använder verktyg och utför åtgärder, inklusive deras behörigheter, delegerad befogenhet, anslutningar och förmåga att påverka andra system.
Kan promptinjektion förhindras helt?
Företag bör inte utgå från att promptinjektion kan elimineras helt. Skyddsåtgärder kan minska antalet framgångsrika attacker, men implementeringarna bör också begränsa vad en agent kan göra om manipulationen lyckas. Att begränsa åtkomst och kontrollera känsliga åtgärder hjälper till att begränsa den potentiella skadan.
Varför är identitetshantering viktigt för AI-agenter?
Identitetshantering hjälper till att fastställa vilken agent som agerar, vad den har åtkomst till och vem som är ansvarig för den. Distinkta identiteter, begränsade behörigheter och återkallbara autentiseringsuppgifter främjar ansvarsskyldighet och gör det enklare att begränsa skador från komprometterade eller felaktigt fungerande agenter.
Behöver AI-agenter mänskligt godkännande för varje åtgärd?
Godkännandet bör återspegla konsekvenserna av en åtgärd. Rutinmässiga uppgifter med liten påverkan kan utföras inom fördefinierade gränser. Betalningar, känsliga avslöjanden, destruktiva förändringar och privilegierade åtgärder kräver strängare kontroller. Dessa kontroller bör genomföras av applikationen eller det anslutna systemet.
Vad bör företag göra innan de tar en AI-agent i drift?
Definiera dess syfte, utse en ansvarig, kartlägg dess data- och systemåtkomst samt fastställ behörighetsgränser. Testa hela arbetsflödet mot scenarier för missbruk och fel. Upprätta övervakning, godkännandekrav och ett praktiskt sätt att stoppa agenten innan åtkomst beviljas till aktiva affärssystem.