Microsoft entwickelt Spotlighting, um KI-Systeme vor Angriffen zu schützen

In den letzten Jahren hat es eine enorme KI-Integration gegeben, wobei Microsoft die Führung übernommen hat. Gleichzeitig unternimmt der in Redmond ansässige Technologieriese Schritte, um Bedrohungen zu minimieren und KI-basierte Systeme zu schützen. Um dies zu erreichen, hat Microsoft Spotlighting entwickelt!

Spotlighting ist eigentlich eine Familie von Techniken, die die Erfolgsrate von Angriffen auf KI-Systeme von 20 % auf unter die Erkennungsschwelle senken, ohne die Leistung zu beeinträchtigen. Microsoft beschreibt Spotlighting als

Spotlighting hilft gegen Poisoned Content, eine Art von Angriff, bei dem scheinbar harmlose Inhalte verwendet werden, um Schwachstellen im KI-System auszunutzen. Beispielsweise eine E-Mail, die, wenn sie zusammengefasst wird, dem KI-System Anweisungen gibt, nach kritischen Informationen zu suchen und diese freizugeben.

In solchen Fällen verhindert Microsofts Spotlighting, dass LLMs versteckte Inhalte lesen, die Anweisungen für einen Angriff enthalten und schützt so das KI-System.

Microsoft entdeckt einen neuen Angriffstyp, Crescendo

Crescendo oder Multiturn-LLM-Jailbreak ist ein Angriff, der vorhandene Sicherheitsfilter umgehen kann und die meisten gängigen LLMs betreffen kann, obwohl er keine Datenschutz- oder Sicherheitsrisiken für die Endbenutzer oder KI-Systeme darstellt.

Der offizielle Blog von Microsoft beschreibt Crescendo wie folgt:

Der in Redmon ansässige Technologieriese hat Änderungen am nativen Chatbot Microsoft Copilot vorgenommen, um zu verhindern, dass dieser Crescendo zum Opfer fällt. Dazu gehört die Einführung zusätzlicher Filter- und Sicherheitsebenen, nämlich Multiturn-Prompt-Filter, AI Watchdog und erweiterte Recherche.

Die Ergebnisse wurden auch mit anderen KI-Unternehmen geteilt.

KI ist zwar eine bahnbrechende Innovation, birgt aber eine Vielzahl von Bedrohungen sowohl für Endbenutzer als auch für Organisationen. Microsoft-Präsident Brad Smith äußerte in einem kürzlichen Interview Bedenken hinsichtlich der KI und forderte Regulierungen und eine Sicherheitsbremse.

KI steckt auch hinter ausgeklügelten Cyberangriffen, die schwer zu erkennen sind und erheblichen Schaden anrichten können. Microsoft ist davon überzeugt, dass KI der beste Weg ist, KI-gestützte Bedrohungen zu bekämpfen, und das scheint derzeit der Fall zu sein!

Was denken Sie über Microsofts Spotlighting und ob es Risiken mindern könnte? Teilen Sie es unseren Lesern im Kommentarbereich mit.

Im Kern bringt Crescendo LLMs dazu, bösartige Inhalte zu generieren, indem es ihre eigenen Antworten ausnutzt. Indem sorgfältig formulierte Fragen oder Aufforderungen gestellt werden, die den LLM schrittweise zu einem gewünschten Ergebnis führen, anstatt das Ziel auf einmal anzufordern, ist es möglich, Leitplanken und Filter zu umgehen – dies kann normalerweise in weniger als 10 Interaktionsrunden erreicht werden.

Durch Spotlighting (auch als Datenmarkierung bezeichnet) werden die externen Daten durch das LLM klar von den Anweisungen getrennt, wobei unterschiedliche Markierungsmethoden je nach verwendetem Modell eine Reihe von Kompromissen hinsichtlich Qualität und Robustheit bieten.