Microsoft lanza herramientas de seguridad de IA de código abierto para el desarrollo de agentes
Microsoft lanzó RAMPART y Clarity como proyectos de código abierto destinados a ayudar a los desarrolladores a probar agentes de inteligencia artificial en una fase más temprana del ciclo de vida del software y convertir los hallazgos del equipo rojo en comprobaciones de ingeniería repetibles. La compañía presentó las dos herramientas de código abierto para ayudar a los desarrolladores a crear agentes de IA más seguros, lo que marca su último esfuerzo para acercar los controles de seguridad al proceso de desarrollo de aplicaciones.
Las herramientas, llamadas RAMPART y Clarity, están diseñadas para abordar diferentes partes del flujo de trabajo de desarrollo del agente. RAMPART es un marco de prueba para ejecutar escenarios de seguridad benignos y adversos como pruebas repetibles, mientras que Clarity está destinado a ayudar a los equipos de ingeniería a examinar las suposiciones de diseño antes de escribir el código.
El anuncio se produce cuando los agentes de IA van más allá de la generación de texto y comienzan a tomar acciones en todos los sistemas empresariales, incluida la recuperación de registros, el acceso al correo electrónico, la escritura de códigos y el uso de herramientas conectadas. Ese cambio plantea nuevas preocupaciones de seguridad para las organizaciones que adoptan IA agente, particularmente en torno a la inyección rápida, el uso no intencionado de herramientas y fallas de producción difíciles de reproducir.
«Construimos estas herramientas porque creemos que la seguridad de la IA debe convertirse en una disciplina de ingeniería continua en lugar de un punto de control periódico», dijo Microsoft en el anuncio.
RAMPART se basa en PyRIT, el marco de automatización abierto de Microsoft para sistemas de IA generativa de equipos rojos. Mientras que PyRIT está dirigido más al descubrimiento de cajas negras por parte de investigadores de seguridad después de que se construye un sistema de IA, RAMPART está destinado a ingenieros que trabajan en el sistema durante el desarrollo.
El marco utiliza pruebas estándar de pytest, lo que permite a los equipos describir escenarios basados en sus modelos de amenazas, conectarse a un agente a través de un adaptador delgado y evaluar resultados observables. Las pruebas pueden arrojar resultados de pasa o no y ejecutarse en canales de integración continua como otras pruebas de integración.
Ese enfoque pretende permitir a los desarrolladores agregar controles de seguridad cuando agregan nuevas herramientas, fuentes de datos o flujos de trabajo a un agente. Microsoft dijo que la cobertura más madura de RAMPART actualmente se centra en ataques de inyección cruzada, donde un agente procesa contenido envenenado de documentos, correos electrónicos, tickets u otras fuentes de datos que manipulan indirectamente su comportamiento.
RAMPART también admite ensayos estadísticos, que reflejan la naturaleza probabilística del comportamiento de los modelos de lenguaje grande. En lugar de depender de una única ejecución de prueba, los equipos pueden establecer políticas como exigir que una acción permanezca segura en un cierto porcentaje de ejecuciones.
El marco también pretende ayudar a los equipos a preservar las lecciones de los ejercicios del equipo rojo y de los incidentes del mundo real. Los hallazgos se pueden convertir en pruebas RAMPART, lo que les permite compararse con cambios futuros y reducir el riesgo de regresiones.
«El modelo de propiedad se aleja intencionalmente del enfoque tradicional: los ingenieros escriben las pruebas, los ingenieros las ejecutan», dijo Microsoft.
Clarity aborda una fase anterior del desarrollo de software. La herramienta está diseñada para guiar a los ingenieros a través de conversaciones estructuradas sobre la definición de problemas, opciones de solución, análisis de fallas y seguimiento de decisiones. Microsoft lo describió como una forma de ayudar a los equipos a determinar si están creando lo correcto antes de que comience la implementación.
Clarity puede ejecutarse como una aplicación de escritorio, una interfaz web o dentro de un agente de codificación. A medida que los equipos trabajan con sus indicaciones, la herramienta escribe los resultados en un directorio .clarity-protocol en el repositorio como archivos de rebajas. Luego, esos archivos se pueden confirmar, revisar en solicitudes de extracción y diferenciar como código fuente.
La herramienta también incluye capacidades de análisis de fallas que utilizan múltiples «pensadores» de IA para examinar un sistema desde diferentes perspectivas, incluida la seguridad, los factores humanos, los escenarios adversos y las preocupaciones operativas. Microsoft dijo que Clarity también puede rastrear la obsolescencia de esos documentos, empujando a los equipos a revisar las suposiciones cuando cambian las decisiones relacionadas o las declaraciones de problemas.
El lanzamiento encaja en el impulso más amplio de Microsoft en torno a la seguridad de la IA y las operaciones de seguridad agentes. A principios de este mes, Microsoft dijo que fue nombrado líder general y líder de mercado en el informe del Centro de operaciones de seguridad de IA emergente 2026 de KuppingerCole Analysts. En ese anuncio, Microsoft dijo: «Las operaciones de seguridad están entrando en una nueva fase».