Microsoft desarrolla Spotlighting para proteger los sistemas de inteligencia artificial de ataques

Los últimos años han sido testigos de una tremenda integración de la IA, con Microsoft a la cabeza. Al mismo tiempo, el gigante tecnológico con sede en Redmond está tomando medidas para minimizar las amenazas y proteger los sistemas basados ​​en inteligencia artificial. En un intento por lograrlo, Microsoft desarrolló Spotlighting!

Spotlighting es en realidad una familia de técnicas que reduce la tasa de éxito de los ataques a sistemas de inteligencia artificial del 20% a menos del umbral de detección sin afectar el rendimiento. Microsoft describe Spotlighting como

Destacar ayuda contra el contenido envenenado, un tipo de ataque que utiliza contenido aparentemente inofensivo para explotar vulnerabilidades en el sistema de inteligencia artificial. Por ejemplo, un correo electrónico que, una vez resumido, daría instrucciones al sistema de inteligencia artificial para buscar información crítica y compartirla.

En tales casos, Spotlighting de Microsoft evita que los LLM lean contenido oculto que contenga instrucciones para un ataque, protegiendo así el sistema de inteligencia artificial.

Microsoft descubre un nuevo tipo de ataque, Crescendo

Crescendo o multiturn LLM jailbreak es un ataque capaz de eludir los filtros de seguridad existentes y puede afectar a la mayoría de los LLM populares, aunque no plantea riesgos de privacidad o seguridad para los usuarios finales o los sistemas de inteligencia artificial.

El blog oficial de Microsoft describe Crescendo como,

El gigante tecnológico con sede en Redmon realizó cambios en el chatbot nativo, Microsoft Copilot, para evitar que sea víctima de Crescendo. Esto incluye la introducción de capas de filtrado y seguridad adicionales, a saber, filtro de avisos multiturno, vigilancia de IA e investigación avanzada.

Los hallazgos también se compartieron con otras empresas de IA.

La IA, si bien es una innovación revolucionaria, plantea una amplia gama de amenazas, tanto para los usuarios finales como para las organizaciones. El presidente de Microsoft, Brad Smith, expresó su preocupación por la IA en una entrevista reciente y pidió regulaciones y un freno de seguridad.

La IA también está detrás de ciberataques sofisticados que son difíciles de detectar y pueden causar daños importantes. Microsoft cree que la IA es la mejor manera de luchar contra las amenazas respaldadas por la IA, ¡y parece que así es en la actualidad!

¿Qué opinas sobre Spotlighting de Microsoft y si podría mitigar los riesgos? Compártelo con nuestros lectores en la sección de comentarios.

En esencia, Crescendo engaña a los LLM para que generen contenido malicioso explotando sus propias respuestas. Al hacer preguntas o indicaciones cuidadosamente elaboradas que conduzcan gradualmente al LLM hacia el resultado deseado, en lugar de preguntar el objetivo de una vez, es posible sortear barreras y filtros; esto generalmente se puede lograr en menos de 10 turnos de interacción.

Destacar (también conocido como marcado de datos) hace que los datos externos sean claramente separables de las instrucciones del LLM, con diferentes métodos de marcado que ofrecen una variedad de compensaciones de calidad y solidez que dependen del modelo en uso.