Microsoft desenvolve Spotlighting para proteger sistemas de IA contra ataques

Os últimos anos testemunharam uma tremenda integração de IA, com a Microsoft liderando o processo. Ao mesmo tempo, a gigante tecnológica sediada em Redmond está a tomar medidas para minimizar ameaças e proteger os sistemas baseados em IA. Para conseguir isso, a Microsoft desenvolveu o Spotlighting!

Spotlighting é, na verdade, uma família de técnicas que reduz a taxa de sucesso de ataques a sistemas de IA de 20% para abaixo do limite de detecção, sem afetar o desempenho. A Microsoft descreve o Spotlighting como

O Spotlighting ajuda contra conteúdo envenenado, um tipo de ataque que usa conteúdo aparentemente inofensivo para explorar vulnerabilidades no sistema de IA. Por exemplo, um e-mail que, quando resumido, emitiria instruções ao sistema de IA para procurar informações críticas e partilhá-las.

Nesses casos, o Spotlighting da Microsoft impede que os LLMs leiam conteúdo oculto que contenha instruções para um ataque, protegendo assim o sistema de IA.

Microsoft descobre um novo tipo de ataque, Crescendo

O jailbreak crescente ou multiturn LLM é um ataque capaz de contornar os filtros de segurança existentes e pode afetar a maioria dos LLMs populares, embora não represente riscos de privacidade ou segurança para os usuários finais ou sistemas de IA.

O blog oficial da Microsoft descreve Crescendo como,

A gigante da tecnologia baseada em Redmon fez alterações no chatbot nativo, Microsoft Copilot, para evitar que ele se tornasse vítima do Crescendo. Isso inclui a introdução de camadas adicionais de filtragem e segurança, ou seja, filtro de prompt Multiturn, AI Watchdog e pesquisa avançada.

As descobertas também foram compartilhadas com outras empresas de IA.

A IA, embora seja uma inovação revolucionária, representa uma ampla gama de ameaças, tanto para os usuários finais quanto para as organizações. O presidente da Microsoft, Brad Smith, expressou preocupação com a IA em uma entrevista recente e pediu regulamentações e um freio de segurança.

A IA também está por trás de ataques cibernéticos sofisticados que são difíceis de detectar e podem causar danos significativos. A Microsoft acredita que a IA é a melhor maneira de combater ameaças apoiadas por IA, e parece ser o caso atualmente!

O que você acha do Spotlighting da Microsoft e se ele poderia mitigar riscos? Compartilhe com nossos leitores na seção de comentários.

Basicamente, o Crescendo engana os LLMs para que gerem conteúdo malicioso, explorando suas próprias respostas. Ao fazer perguntas ou instruções cuidadosamente elaboradas que gradualmente levam o LLM a um resultado desejado, em vez de pedir a meta de uma só vez, é possível contornar barreiras e filtros – isso geralmente pode ser alcançado em menos de 10 turnos de interação.

O Spotlighting (também conhecido como marcação de dados) torna os dados externos claramente separáveis ​​das instruções do LLM, com diferentes métodos de marcação oferecendo uma gama de compensações de qualidade e robustez que dependem do modelo em uso.