AIスクレイピングからウェブサイトを保護する方法

2024/08/08

現在、あなたのウェブサイトは、ChatGPT のような大規模な言語モデルのトレーニング用のデータ収集を任されている、貪欲な AI スクレーパーにとって食べ放題のビュッフェになっているかもしれません。貴重なコンテンツが AI によって生成された次の回答にならないようにするには、知的財産に対するこの新たな脅威からウェブサイトを保護する必要があります。

AIによるスクレイピングを防ぐ方法

AI スクレイピングから Web サイトを保護することは、思ったほど難しくありません。実際、従来の Web スクレイピングに対抗するために使用されている実証済みの方法の多くは、AI を利用したスクレイピングに対しても同様に効果的です。

1. 特定のAIボットをブロックするようにrobots.txtを設定する

robots.txt ファイルは、OpenAI や Anthropic に属するものを含む、望ましくないクローラーに対するウェブサイトの第一防衛線です。このファイルは、ロボット排除プロトコルを実装し、適切に動作するボットに、サイトのどの部分にアクセスが許可されているかを通知するために使用されます。

Reddit ロボットテキスト — Reddit の robots.txt ファイル

robots.txt ファイルは、Web サイトのルートディレクトリにあるはずです。見つからない場合は、任意のテキストエディターを使用して作成できます。特定の AI ボットをブロックするには、次の 2 行を記述するだけです。

最初の行はボットを識別し、2 行目はボットにページにアクセスしないように指示します。上記の例では、OpenAI のクローラーをブロックしています。ブロックを検討する必要があるその他の AI ボットの名前は次のとおりです: Google-Extended、Claude-Web、FacebookBot、anthropic-ai。

2. レート制限とIPブロッキングを実装する

レート制限と IP ブロッキングは、Web サイトへのトラフィックの流れを監視および制御することで機能します。

レート制限は、特定の時間枠内でユーザー (またはボット) が実行できるリクエストの数に上限を設定します。訪問者がこの制限を超えると、一時的にブロックされるか、リクエストが遅くなります。
一方、IP ブロックを使用すると、スクレイピングアクティビティのソースとして特定した特定の IP アドレスまたは範囲を完全に禁止できます。

これらの手法を実装する最も簡単な方法の 1 つは、人気のコンテンツ配信ネットワーク (CDN) およびセキュリティサービスである Cloudflare を使用することです。

Cloudflare は、サーバーとインターネット全体の間に存在し、Web サイトの保護シールドとして機能します。Web サイトを Cloudflare の背後に配置すると、ユーザーフレンドリーなダッシュボードからレート制限ルールを構成し、IP ブロックを管理できます。

3. CAPTCHAやその他の人間による検証方法を使用する

CAPTCHA (コンピュータと人間を区別するための完全に自動化された公開チューリングテスト) は、人間のユーザーとボットを区別するための実証済みの方法です。

最も人気があり、同時に効果的な CAPTCHA の 1 つが、Google の reCAPTCHA です。これを使用するには、reCAPTCHA 管理コンソールにアクセスし、API キーペアにサインアップする必要があります。その後、 Advanced Google reCAPTCHAなどの WordPress プラグインを使用するか、公式ドキュメントに基づいてカスタム実装を作成します。

4. 動的コンテンツレンダリング技術を採用する

AI スクレイピングから Web サイトを保護するもう 1 つの賢い方法は、動的コンテンツレンダリング技術を使用することです。アイデアはシンプルですが効果的です。AI スクレイピングボットがサイトにアクセスすると、価値のないコンテンツまたは何も受信されませんが、通常の訪問者には正しい完全なコンテンツが表示されます。

実際の仕組みは次のとおりです。

サーバーは、サイトにアクセスするエージェントを識別し、通常のユーザーと潜在的な AI ボットを区別します。
この識別に基づいて、サーバーは JavaScript ロジックを使用して提供するコンテンツを決定します。
人間の訪問者に対しては、サーバーはサイトの完全版を配信します。ボットに対しては、異なるコンテンツセットを提供します。

AI スクレーパーは通常、JavaScript コード (基本的な HTML コンテンツのみ) を処理しないため、騙されたことに気づく方法がありません。

5. コンテンツ認証とゲートアクセスを設定する

AI スクレイパーからコンテンツを保護する最も確実な方法の 1 つは、コンテンツをデジタルゲートの背後に置くことです。結局のところ、これらのボットは公開されているものしか収集できません。

この保護の最も単純な形は、ウェブサイトの特定の部分にアクセスする際にユーザーにログインを要求することです。AI スクレイパーボットは通常アカウントを作成したり認証したりする機能がないため、これだけで AI スクレイパーボットを阻止できます。

Memberpress プラグインウェブサイト — MemberPressプラグイン

さらに一歩踏み込んで、コンテンツの一部またはすべてを有料コンテンツにすることで、さらに強力な保護を実現できます。たとえば、WordPress ユーザーはMemberPressなどのプラグインを使用してこれを簡単に実装できます。

もちろん、保護とアクセシビリティのバランスを取る必要があります。すべての訪問者がコンテンツにアクセスするためだけにアカウントを作成するわけではありません。ましてや料金を支払うわけではありません。このアプローチの実現可能性は、コンテンツの性質と視聴者の期待に完全に依存します。

6. 画像に透かしやポイズニングを入れる

デジタルウォーターマークは知的財産を保護するための古典的な手法ですが、AI 時代の課題に対応するために進化しています。この分野で新たに登場した手法の 1 つがデータポイズニングです。これは、人間には認識できないものの、コンテンツを取得または分析しようとする AI システムを混乱させたり妨害したりする可能性のある微妙な変更をコンテンツに加える手法です。

Glazeのようなツールは、人間の目には正常に見えるものの、AI モデルが正確に処理するのが困難になるように画像を変更することができます。また、AI トレーニングに積極的に干渉することでデータ汚染をさらに一歩進めたNightshadeもあります。

Nightshare は、画像にわずかな変更を加えることで、AI モデルがトレーニング中に行う仮定を「破壊」することができます。AI システムがこれらの汚染された画像から学習しようとすると、正確な表現を生成するのに苦労する可能性があります。

理論的には、コンテンツに透かしや改ざんが適切に施されている場合、スクレイピングされる可能性はありますが、AI 企業がそれをトレーニングデータに含める可能性は低くなります。将来的には、データセットの汚染を防ぐために、サイトからのスクレイピングを積極的に避ける可能性さえあります。

7. DMCA削除通知と著作権法を活用する

これまでの方法は技術的な手段を使用して AI スクレイピングを防止することに重点を置いていましたが、デジタルミレニアム著作権法 (DMCA) の通知や著作権法を活用して別のアプローチを取ることが最善である場合もあります。

自分のコンテンツが無断でコピーされ使用されていることに気付いた場合は、DMCA 削除通知を発行できます。これは、著作権で保護されたコンテンツを Web サイトまたはプラットフォームから削除するよう正式に要求するものです。

DMCA 削除通知が尊重されない場合 (尊重されないことを覚悟しておいた方がよいでしょう)、訴訟を起こすことで事態をエスカレートできますが、そうするのはあなたが初めてではないでしょう。

OpenAI と Microsoft は現在、調査報道センターやその他の報道機関から著作権侵害で訴えられている。これらの訴訟は、AI 企業が著作権で保護されたコンテンツを許可や補償なしに使用してモデルをトレーニングしていると主張している。これらの訴訟の結果はまだ決まっていないが、他の企業が追随する道を切り開くことになるだろう。

カバー画像は DALL-E を使用して作成されました。すべてのスクリーンショットは David Morelo によるものです。