Una revisión de seguridad de un agente de IA traza quién lo usará, qué información manejará, a qué sistemas podrá acceder y cómo responderá el equipo ante fallos o usos indebidos. Úsala para decidir si puede comenzar una prueba acotada y qué problemas deben resolverse primero; no es una certificación de seguridad.
Empieza con una solicitud sobre documentos de proveedores
Un equipo de compras pide a un agente: «Compara este expediente de proveedor con los requisitos de incorporación aprobados. Identifica los documentos faltantes y prepara una solicitud para revisión. No envíes mensajes ni cambies la ficha del proveedor». En una prueba ficticia de acceso, el agente lee el expediente asignado y los requisitos. Se deniegan las operaciones de envío y actualización, pero no se ha verificado el alcance de la ficha del proveedor. Una persona revisora se responsabiliza de cualquier solicitud saliente.
La revisión de seguridad completa registra los resultados verificados y mantiene en pausa la ampliación del uso:
Revisión de documentos de proveedores — decisión de seguridad
- Información: Expediente presentado y requisitos aprobados; cada fuente tiene una persona responsable.
- Identidad y audiencia: El personal autorizado de compras solicita y revisa el trabajo; la superficie pública no tiene acceso al expediente.
- Capacidades: Leer las dos fuentes aprobadas y preparar un borrador. El envío y los cambios en la ficha quedan fuera del alcance.
- Resultado de la prueba: Se pudo leer el expediente y el requisito asignados; se denegaron el envío y la actualización. El alcance de la ficha del proveedor sigue sin verificarse.
- Decisión: No ampliar el uso hasta confirmar el alcance del registro y la ruta de excepción.
El ejemplo separa lo que se espera del flujo de lo que deben hacer cumplir los sistemas conectados. Una instrucción escrita no demuestra que una herramienta sea incapaz de realizar una acción restringida.
La matriz de recursos y acciones es una parte de la revisión de seguridad más amplia.
Revisa las preguntas de seguridad
Desplázate horizontalmente para ver todas las columnas.
| Área de revisión | Preguntas y evidencia |
|---|---|
| Propósito, usuarios y datos | ¿Qué tarea exacta está dentro del alcance? ¿Quiénes usarán el agente, qué datos recibirá y qué resultados podrían afectar a una persona, registro o proceso? Traza el recorrido de la fuente al modelo, a la herramienta y a quien reciba el resultado. |
| Identidad y acceso | ¿Qué identidad de usuario, servicio o aplicación origina cada solicitud? ¿Puede el sistema conectado limitarla a los registros y operaciones requeridos? ¿Cómo se protegen, rotan y revocan las credenciales? |
| Herramientas y efectos | Enumera cada herramienta, operación, alcance de lectura y escritura y acción con consecuencias. ¿Puede enviar, publicar, actualizar, borrar o aprobar? Retira las capacidades innecesarias y prueba que el sistema conectado rechace las acciones bloqueadas. |
| Entradas no confiables y resultados | ¿Puede una persona, documento o página recuperada incluir instrucciones que contradigan la tarea? Comprueba cómo se trata el contenido no confiable y si se valida el resultado antes de que actúe otro sistema. |
| Dependencias y exposición | Identifica las dependencias del modelo, conectores, servicios, bibliotecas y datos. Comprueba adónde se envía la información, qué se devuelve y quién puede acceder a los registros almacenados. |
| Pruebas y respuesta | Prueba entradas habituales, mal formadas, contradictorias, fuera de alcance y deliberadamente engañosas. Nombra el contacto de seguridad, la ruta de incidentes, la persona operadora, los registros disponibles y la condición para pausar el flujo. |
Elige el nivel de revisión según los datos, la audiencia, las acciones y sus consecuencias. Una prueba que solo prepara borradores también requiere límites, pero un agente que accede a sistemas sensibles o puede iniciar cambios externos requiere un análisis de seguridad y privacidad más profundo.
Separa la aprobación de seguridad de la calidad del flujo
La revisión de seguridad determina si el acceso, el tratamiento de los datos y los controles son apropiados para el despliegue propuesto. La evaluación determina si el agente produce resultados útiles y precisos en casos representativos. La revisión humana decide si un resultado o una acción concreta es aceptable. Superar una prueba de una categoría no resuelve las demás.
En el ejemplo de proveedores, una persona revisora puede aprobar una prueba piloto limitada solo después de confirmar que el agente puede leer el expediente y los requisitos previstos, no puede enviar ni actualizar datos y deriva el caso con claridad si una fuente no está disponible. Registra la configuración probada y los problemas pendientes. Si se desconoce el comportamiento real de los permisos, mantén la prueba piloto en pausa.
Vuelve a revisar si cambian las personas usuarias, las fuentes de datos, el modelo, las herramientas, la audiencia o las acciones de salida. Para revisar cada herramienta, consulta cómo revisar las herramientas y el acceso a datos de un agente; para probar resultados, consulta cómo evaluar un agente de IA. La guía de permisos y límites aborda los límites de información y acción del agente.