Microsoft sviluppa Spotlighting per proteggere i sistemi di intelligenza artificiale dagli attacchi

Gli ultimi anni hanno assistito a un’enorme integrazione dell’intelligenza artificiale, con Microsoft in testa. Allo stesso tempo, il gigante tecnologico con sede a Redmond sta adottando misure per ridurre al minimo le minacce e proteggere i sistemi basati sull’intelligenza artificiale. Nel tentativo di raggiungere questo obiettivo, Microsoft ha sviluppato Spotlighting!

Lo spotlighting è in realtà una famiglia di tecniche che riduce il tasso di successo degli attacchi ai sistemi di intelligenza artificiale dal 20% a sotto la soglia di rilevamento senza influire sulle prestazioni. Microsoft descrive Spotlighting come

Spotlighting aiuta contro i contenuti Poisoned, un tipo di attacco che utilizza contenuti apparentemente innocui per sfruttare le vulnerabilità del sistema AI. Ad esempio, un’e-mail che, una volta riepilogata, invierebbe istruzioni al sistema di intelligenza artificiale per cercare informazioni critiche e condividerle.

In questi casi, Spotlighting di Microsoft impedisce agli LLM di leggere contenuti nascosti che contengono istruzioni per un attacco, proteggendo così il sistema AI.

Microsoft scopre un nuovo tipo di attacco, Crescendo

Crescendo o jailbreak LLM multiturn è un attacco in grado di aggirare i filtri di sicurezza esistenti e può colpire la maggior parte dei LLM più diffusi, sebbene non comporti rischi per la privacy o la sicurezza degli utenti finali o dei sistemi di intelligenza artificiale.

Il blog ufficiale di Microsoft descrive Crescendo come,

Il colosso tecnologico con sede a Redmon ha apportato modifiche al chatbot nativo, Microsoft Copilot, per evitare che cadesse preda di Crescendo. Ciò include l’introduzione di ulteriori livelli di filtraggio e sicurezza, ovvero filtro prompt multigiro, watchdog AI e ricerca avanzata.

I risultati sono stati condivisi anche con altre società di intelligenza artificiale.

L’intelligenza artificiale, pur rappresentando un’innovazione rivoluzionaria, pone una vasta gamma di minacce, sia per gli utenti finali che per le organizzazioni. Il presidente di Microsoft, Brad Smith, ha espresso preoccupazione per l’intelligenza artificiale in una recente intervista e ha chiesto normative e un freno di sicurezza.

L’intelligenza artificiale è anche alla base di sofisticati attacchi informatici difficili da rilevare e che possono causare danni significativi. Microsoft ritiene che l’intelligenza artificiale sia il modo migliore per combattere le minacce supportate dall’intelligenza artificiale, e sembra che sia così al momento!

Cosa ne pensi di Spotlighting di Microsoft e se potrebbe mitigare i rischi? Condividi con i nostri lettori nella sezione commenti.

Fondamentalmente, Crescendo induce gli LLM a generare contenuti dannosi sfruttando le loro stesse risposte. Ponendo domande o suggerimenti attentamente elaborati che portano gradualmente il LLM al risultato desiderato, invece di chiedere l’obiettivo tutto in una volta, è possibile aggirare guardrail e filtri: questo di solito può essere ottenuto in meno di 10 turni di interazione.

Lo spotlighting (noto anche come marcatura dei dati) rende i dati esterni chiaramente separabili dalle istruzioni del LLM, con diversi metodi di marcatura che offrono una gamma di compromessi di qualità e robustezza che dipendono dal modello in uso.