Un agente de IA capaz de leer tu bandeja de entrada, actualizar registros de clientes o ejecutar código necesita algo más que un conjunto de instrucciones bien redactadas. Necesita límites claros sobre a qué puede acceder, qué puede modificar y qué puede compartir.
Conectar la IA a los sistemas empresariales ofrece oportunidades para reducir el trabajo manual y acelerar la toma de decisiones. Pero también abre vías para que los atacantes manipulen esas decisiones, roben información o desencadenen acciones a través de herramientas legítimas.
El «OWASP Top 10 para aplicaciones de agentes» ofrece un marco para comprender y evaluar los riesgos de seguridad de los agentes de IA. Basándonos en esta guía, analizamos diez amenazas clave y las medidas prácticas que las organizaciones pueden adoptar para hacerles frente.
Un agente de IA es un sistema de software que utiliza inteligencia artificial para llevar a cabo tareas en nombre de un usuario o una organización. Es capaz de interpretar un objetivo, decidir qué pasos dar y utilizar las herramientas conectadas para completarlos, con distintos niveles de supervisión humana.
Un agente conectado a tu bandeja de entrada, base de datos de clientes o entorno en la nube necesita límites claros sobre a qué puede acceder, qué puede modificar y qué puede compartir. Sin esos controles, una instrucción maliciosa o una decisión incorrecta podrían provocar la exposición de datos, transacciones no autorizadas o la interrupción de las operaciones.
La seguridad de los agentes de IA es la práctica de proteger los sistemas de IA capaces de planificar tareas, utilizar herramientas y llevar a cabo acciones en nombre de usuarios u organizaciones. Abarca al propio agente, sus aplicaciones conectadas, sus permisos de acceso y la información que procesa.
Un chatbot que se limita a responder preguntas presenta un perfil de riesgo diferente al de un agente autorizado para enviar correos electrónicos, modificar configuraciones o aprobar transacciones. Cuando la IA puede actuar, una respuesta incorrecta o manipulada puede convertirse en un incidente empresarial.
La inyección de comandos se produce cuando unas instrucciones maliciosas influyen en el comportamiento de un sistema de IA. En el caso de los agentes, esas instrucciones pueden llegar de forma indirecta a través de una página web, un correo electrónico, un documento o la respuesta de una herramienta con la que se topan durante una tarea legítima.
Por ejemplo, un agente que revise un documento de un proveedor podría encontrarse con instrucciones que le indiquen que recupere información confidencial y la envíe a otro lugar. El atacante está intentando convertir el material que el agente debería analizar en órdenes que este debe seguir.
Se trata de un desafío de seguridad constante, y las medidas de protección del modelo por sí solas no eliminan el riesgo.
Cómo reducir el riesgo: Tratar el contenido externo como no fiable. Restringir las herramientas y los destinos que el agente puede utilizar, filtrar las entradas sospechosas y exigir autorización para las acciones sensibles. Aplicar restricciones de acceso al margen del modelo de lenguaje, de modo que las instrucciones manipuladas no puedan simplemente anularlas.
Un agente se vuelve más peligroso cuando sus permisos exceden su finalidad. Es posible que un asistente de elaboración de informes necesite leer registros financieros, pero no tiene motivo para editarlos ni para iniciar pagos.
El mismo principio se aplica a la autonomía. Incluso una acción autorizada puede requerir aprobación humana si implica eliminar registros, modificar la configuración de seguridad o asumir un compromiso externo.
OWASP identifica el exceso de funcionalidades, permisos y autonomía como causas subyacentes de una agencia excesiva.
Cómo reducir el riesgo: Define el acceso mínimo necesario para cada tarea. Separa las capacidades de lectura y escritura, limita las funciones disponibles e introduce controles de aprobación proporcionales al impacto potencial. Revisa los permisos cada vez que cambien las responsabilidades de un agente.
Un agente de IA puede operar a través de cuentas de servicio, claves API, tokens de acceso o permisos delegados por un usuario. Si estas credenciales son robadas o utilizadas indebidamente, un atacante podría obtener acceso a los mismos sistemas conectados.
Las identidades compartidas también debilitan la rendición de cuentas. Si varios agentes utilizan una misma cuenta con amplios privilegios, resulta más difícil identificar qué agente realizó una acción, quién la autorizó y qué acceso debe revocarse.
El trabajo del NIST sobre la identidad y la autorización de los agentes de IA refleja la importancia de aplicar controles de identidad a estos sistemas.
Cómo reducir el riesgo: Asignara los agentes identidades distintas y rastreables, siempre que sea posible, con propietarios identificados y ciclos de vida definidos. Utilizar credenciales de corta duración y alcance limitado, ygarantizar una gestión segura de los secretos. Mantener el vínculo entre las acciones de un agente y el usuario o proceso que las autorizó.
Los agentes pueden recopilar información de múltiples sistemas empresariales. Sin las restricciones adecuadas, pueden exponer datos personales, documentos confidenciales o información comercialmente sensible a través de respuestas, mensajes, registros o servicios conectados.
Pensemos, por ejemplo, en un agente de atención al cliente que recupera una nota interna de una cuenta y la incluye en una respuesta externa. La divulgación puede deberse a controles de acceso deficientes o a una decisión incorrecta, sin que intervenga ningún atacante. La divulgación de información sensible es un riesgo reconocido en las aplicaciones de modelos de lenguaje grande (LLM).
Cómo reducir el riesgo: Aplica la clasificación de datos y controles de acceso antes de que la información llegue al agente. Limita la recuperación al usuario, cliente y tarea pertinentes. Utiliza controles de prevención de pérdida de datos, restringe los destinos de salida y comprueba cómo gestionan los proveedores y las integraciones la retención y el registro.
Los agentes dependen de componentes que van más allá del modelo subyacente, como bibliotecas de software, complementos, conectores y servicios externos. Una dependencia vulnerable o comprometida puede socavar una implementación que, por lo demás, estaría bien controlada.
Los servidores del Protocolo de Contexto del Modelo (MCP), cuando se utilizan para conectar los agentes a herramientas y datos, también deben incluirse en esta evaluación. Una integración cómoda sigue requiriendo un análisis minucioso de sus permisos, comportamiento y mantenimiento.
Por lo tanto, la seguridad de la cadena de suministro de la IA debe abarcar tanto los componentes que rodean al modelo como el propio modelo.
Cómo reducir el riesgo: Mantener un inventario de dependencias e integraciones aprobadas. Verificar su origen, evaluar los permisos solicitados, supervisar las vulnerabilidades y revisar las actualizaciones. Probar los cambios antes de su implementación, especialmente cuando una integración pueda ejecutar comandos o acceder a información sensible.
Las decisiones de un agente dependen de la información que recibe y retiene. Los atacantes pueden manipular las fuentes de conocimiento o la memoria almacenada para que el contenido engañoso influya en tareas posteriores.
Por ejemplo, una instrucción falsa guardada como preferencia de confianza podría redirigir repetidamente el comportamiento de un agente. A diferencia de una única indicación maliciosa, la contaminación persistente puede afectar a sesiones posteriores. OWASP incluye el envenenamiento de memoria y de contexto entre los riesgos de seguridad relacionados con los agentes.
Cómo reducir el riesgo: Controla quién puede actualizar las fuentes de conocimiento y la memoria del agente. Registra el origen de la información, conserva el historial de versiones y exige una validación antes de que el contenido no fiable se convierta en una guía persistente. Facilita la eliminación de registros contaminados y la restauración de un estado conocido como correcto.
Los agentes que generan código, consultas a bases de datos o comandos suponen un riesgo cuando sus resultados pasan directamente a la ejecución.
Una solicitud aparentemente razonable puede generar un comando inseguro o una consulta con un ámbito incorrecto. Las entradas maliciosas también pueden aprovechar una validación débil para llegar a sistemas posteriores. Las directrices de OWASP sobre el manejo inadecuado de los resultados describen cómo un escrutinio insuficiente puede permitir ataques de inyección y la ejecución de código.
Cómo reducir el riesgo: Trata los resultados generados como entradas no fiables. Valida los argumentos de las herramientas, utiliza consultas a bases de datos parametrizadas y restringe la ejecución a entornos aislados. Da preferencia a operaciones estrictamente definidas frente al acceso sin restricciones al shell, y mantén los secretos de producción fuera de los entornos de ejecución, salvo que se requiera explícitamente.
Cuando varios agentes colaboran, un error o una vulneración en uno de ellos puede afectar a los demás. Un agente de investigación podría proporcionar una conclusión incorrecta que otro agente acepte como autoridad para actualizar un sistema.
Esto crea un riesgo de que los errores se propaguen por todo un flujo de trabajo, especialmente cuando los agentes comparten memoria, herramientas o permisos amplios. Un traspaso realizado con éxito no garantiza que la información subyacente o la acción solicitada sean fiables.
Cómo reducir el riesgo: Autenticar las comunicaciones entre agentes y validar las solicitudes en cada traspaso. Conservar la información sobre las fuentes y la autorización. Otorgar a cada agente únicamente el acceso necesario para su función e introducir puntos de control antes de que una cadena de decisiones dé lugar a una acción de gran impacto.
Los flujos de trabajo de los agentes pueden llamar repetidamente a modelos, consultar servicios o crear tareas adicionales. Unas condiciones de detención inadecuadas, entradas inesperadas o un abuso deliberado pueden provocar un consumo excesivo.
El resultado puede incluir un aumento de los costes, el agotamiento de las cuotas de las API y una menor disponibilidad para otros usuarios. OWASP describe el riesgo más amplio del uso incontrolado de los recursos de los modelos como «consumo ilimitado».
Cómo reducir el riesgo: Establece límites exigibles en cuanto a gasto, tiempo de ejecución, reintentos, tareas simultáneas y llamadas a herramientas. Activa alertas ante actividades inusuales y detén los flujos de trabajo que superen los umbrales acordados. Prueba las condiciones de fallo, incluyendo servicios no disponibles y acciones repetidas sin éxito, antes de ampliar la implementación.
Un agente puede causar daños sin que se haya visto comprometido. Puede malinterpretar una solicitud, trabajar con información incompleta o elegir una acción inadecuada. La confianza excesiva convierte esos fallos en un riesgo operativo.
La aprobación humana solo ayuda cuando el revisor puede ver lo que va a suceder. Un mensaje de confirmación vago es insuficiente para un pago, un cambio de acceso o una eliminación masiva. La supervisión es igualmente importante: los equipos deben determinar qué ha hecho realmente el agente.
Cómo reducir el riesgo: Mostrar a los revisores la acción propuesta, los sistemas afectados y las pruebas pertinentes. Registrar las llamadas a las herramientas, las aprobaciones y los resultados, protegiendo al mismo tiempo el contenido confidencial de los registros. Proporcionar a los responsables de la respuesta procedimientos probados para suspender a los agentes, revocar credenciales, conservar pruebas y revertir los cambios siempre que sea posible.
Empieza por los agentes que combinan el acceso a datos sensibles, herramientas potentes y la capacidad de actuar sin autorización. Un asistente que responde a preguntas a partir de documentos públicos presenta un nivel de exposición diferente al de un agente que modifica los sistemas de producción.
Para cada implementación, establece:
Utiliza estas respuestas para priorizar las pruebas y las medidas correctivas. Reevalúa la situación cada vez que cambien los modelos, las herramientas, los permisos o los flujos de trabajo, ya que el alcance del acceso de un agente puede ampliarse mucho tiempo después de su aprobación inicial.
Cada nueva conexión aumenta lo que un agente puede llevar a cabo. También puede aumentar las consecuencias de un error o una vulneración. Las decisiones de seguridad deben ir a la par con ese acceso cada vez mayor.
Para las empresas que adoptan la IA agentiva, las prioridades son claras: gestionar las identidades de los agentes, proteger los datos sensibles, limitar las acciones y hacer que la actividad sea visible para las personas encargadas de defender la organización.
Póngase en contacto con Integrity360 para proteger la adopción de la IA en lo que respecta a la identidad, los datos y las operaciones empresariales.
¿Cuál es la diferencia entre la seguridad de la IA y la seguridad de los agentes de IA?
La seguridad de la IA abarca la protección de los modelos, los datos y las aplicaciones de IA. La seguridad de los agentes de IA hace especial hincapié en los sistemas que utilizan herramientas y realizan acciones, incluyendo sus permisos, la autoridad delegada, las conexiones y su capacidad para afectar a otros sistemas.
¿Se puede prevenir por completo la inyección de comandos?
Las empresas no deben dar por sentado que la inyección de comandos se puede eliminar por completo. Las medidas de defensa pueden reducir el número de ataques que prosperan, pero las implementaciones también deben limitar lo que un agente puede hacer en caso de que la manipulación tenga éxito. Restringir el acceso y controlar las acciones sensibles ayuda a contener el daño potencial.
¿Por qué es importante la gestión de identidades para los agentes de IA?
La gestión de identidades ayuda a determinar qué agente está actuando, a qué tiene acceso y quién es responsable del mismo. Las identidades diferenciadas, los permisos limitados y las credenciales revocables favorecen la rendición de cuentas y facilitan la contención de agentes comprometidos o que funcionan mal.
¿Necesitan los agentes de IA la aprobación humana para cada acción?
La aprobación debe reflejar las consecuencias de una acción. Las tareas rutinarias y de bajo impacto pueden realizarse dentro de límites predefinidos. Los pagos, la divulgación de información sensible, los cambios destructivos y las operaciones con privilegios requieren controles más estrictos. Dichos controles deben ser aplicados por la aplicación o el sistema conectado.
¿Qué deben hacer las empresas antes de implementar un agente de IA?
Definir su finalidad, asignar un responsable, mapear su acceso a los datos y al sistema, y establecer límites de permisos. Probar el flujo de trabajo completo ante escenarios de uso indebido y fallo. Establecer requisitos de supervisión y aprobación, así como una forma práctica de detener al agente antes de concederle acceso a los sistemas operativos de la empresa.