マイクロソフト、AIシステムを攻撃から守るスポットライトを開発

ここ数年、AI の統合が急速に進んでおり、その先頭に立っているのは Microsoft です。同時に、レドモンドに本社を置くこのテクノロジー大手は、脅威を最小限に抑え、AI ベースのシステムを保護するための対策を講じています。その実現を目指して、Microsoft は Spotlighting を開発しました。

スポットライトとは、AIシステムへの攻撃の成功率を20%から検出しきい値以下に下げ、パフォーマンスに影響を与えない技術群です。マイクロソフトはスポットライトを次のように説明しています。

スポットライト機能は、一見無害なコンテンツを使用して AI システムの脆弱性を悪用するタイプの攻撃であるポイズン コンテンツへの対策に役立ちます。たとえば、要約すると、AI システムに重要な情報を検索して共有するように指示する電子メールなどです。

このような場合、Microsoft の Spotlighting は、攻撃の指示を含む隠しコンテンツを LLM が読み取るのを防ぎ、AI システムを保護します。

マイクロソフトが新しい攻撃タイプ「クレッシェンド」を発見

Crescendo またはマルチターン LLM ジェイルブレイクは、既存のセキュリティ フィルターを回避できる攻撃であり、エンド ユーザーや AI システムにプライバシーやセキュリティ上のリスクをもたらすことはありませんが、一般的な LLM のほとんどに影響を与える可能性があります。

Microsoftの公式ブログではCrescendoについて次のように説明している。

レドモンを拠点とするこのテクノロジー大手は、ネイティブ チャットボットである Microsoft Copilot が Crescendo の餌食にならないように変更を加えました。これには、Multiturn prompt filter、AI Watchdog、および Advanced research という追加のフィルタリングおよびセキュリティ レイヤーの導入が含まれます。

この調査結果は他の AI 企業とも共有されました。

AI は画期的なイノベーションである一方、エンドユーザーと組織の両方にさまざまな脅威をもたらします。マイクロソフトの社長、ブラッド・スミス氏は最近のインタビューで AI に対する懸念を表明し、規制と安全ブレーキの必要性を訴えました。

AI は、検出が難しく、重大な被害をもたらす可能性のある高度なサイバー攻撃の背後にも存在します。Microsoft は、AI が AI を利用した脅威に対抗する最善の方法であると信じており、現時点ではそれが事実のようです。

Microsoft の Spotlighting についてどう思いますか? また、リスクを軽減できると思いますか? コメント セクションで読者と共有してください。

本質的に、Crescendo は LLM 自身の応答を利用して、LLM を騙して悪意のあるコンテンツを作成させます。目標を一度に尋ねるのではなく、LLM を徐々に望ましい結果に導くように慎重に作成された質問やプロンプトを尋ねることで、ガードレールとフィルターをバイパスすることが可能になります。これは通常、10 回のインタラクション ターン未満で達成できます。

スポットライト (データ マーキングとも呼ばれる) により、LLM によって外部データが命令から明確に分離可能になり、さまざまなマーキング方法によって、使用中のモデルに応じてさまざまな品質と堅牢性のトレードオフが提供されます。