M
MAKO
ブログに戻る
AIエージェントがあなたのWebサイトを訪れたとき、何が起きているのか
·Juan Isidoro 著·1分で読める

AIエージェントがあなたのWebサイトを訪れたとき、何が起きているのか

HTTPリクエストから推論までの見えない旅路——そしてサーバーが送信する情報の93%が、AIエージェントには使えないノイズである理由。

ai-agentswebeducation

AIエージェントがあなたのWebサイトを訪れたとき、何が起きているのか

毎日、何百万ものAIエージェントがWebサイトを訪問しています。ChatGPT、Claude、Perplexity、ショッピングアシスタント、リサーチボット——いずれもWebコンテンツを読み取る必要があります。しかし、どのエージェントも、人間と同じようにあなたのサイトを見ているわけではありません。

CSSなし。レンダリングされたレイアウトなし。画像もなし(通常は)。あるのはHTMLソースコードから抽出された生のテキストだけです。

実際に何が起きているのか、ステップごとに見ていきましょう。

ステップ1:エージェントがURLを受け取る

ユーザーが「このお店のワイヤレスヘッドホンの価格を比較して」といった質問をします。AIエージェントは関連するURLを特定し、取得の準備をします。

エージェント自体にはブラウザがありません。HTTPクライアントや専用のWebフェッチサービスなどのツールに委任し、代わりにリクエストを実行させます。

ステップ2:HTTPリクエストが送信される

ツールはサーバーに標準的なGETリクエストを送信します。サーバーは訪問者がAIエージェントであることを知りません(気にもしません)——どのブラウザにも送るのと同じHTMLで応答します。

レスポンスには通常、以下が含まれます:

  • ナビゲーションバーとメニュー(47以上のリンク)
  • Cookie同意バナーとスクリプト
  • CSSスタイルシート(インラインおよび外部)
  • JavaScriptバンドル
  • 広告スクリプトとトラッキングピクセル
  • 実際のコンテンツ(どこかの中間に埋もれている)

一般的なECサイトの商品ページの場合、これは181 KBのHTML——LLMのコンテキストウィンドウで約4,125トークンに相当します。

ステップ3:コンテンツの抽出

生のHTMLはノイズが多すぎ、トークンコストが高すぎるため、AIモデルに直接渡すことはできません。そこでフェッチツールが前処理を行います:

  1. 不要なタグを除去: <script><style><nav><footer>、トラッキングピクセル
  2. 読み取り可能なテキストを抽出: 段落、見出し、リスト、テーブル
  3. markdownに変換(場合によっては)してコンパクトにする
  4. トークン制限に収まるよう切り詰める

この抽出はヒューリスティックであり、完璧ではありません。ツールは、どの<div>に商品価格が含まれ、どれがCookieバナーなのかを判別できません。HTML構造に基づいて推測しますが、しばしば誤ります。

ステップ4:テキストがコンテキストウィンドウに入る

整形されたテキストは、通常のメッセージと同じようにAIのコンテキストウィンドウに到着します。エージェントはページを「見て」いるのではなく、人間が実際に目にするものを正確に反映しているかどうか分からないテキスト文書を読んでいるのです。

この時点での主な制約:

  • コンテキストウィンドウには限りがある。 128Kトークンのモデルは広く見えますが、ノイズの多いWebページ1つでその3-5%を消費し得る
  • 視覚情報がない。 画像、グラフ、レイアウトは代替テキストがない限り見えない
  • 操作ができない。 ボタンのクリック、フォームの入力、スクロールは一切できない

ステップ5:エージェントが推論する

抽出されたテキストをもとに、エージェントはユーザーの質問に答えようとします。商品名、価格、説明、そして見つけられる限りの構造化情報を特定します。

抽出がきれいであれば、エージェントは優れた回答を返します。しかし、価格が抜け落ちていたり(JavaScriptで描画されていたため)、Cookieバナーのテキストが商品情報として取り込まれていたりすると、回答は誤りや不完全なものになります。

この限界は構造的なものである

これは特定のAIモデルの問題ではありません。Webがコンテンツを配信する仕組みそのものの構造的な問題です。

JavaScriptが実行されない。 コンテンツがクライアントサイドでレンダリングされている場合(React、Vue、AngularのSPA)、AIエージェントには空の<div id="root"></div>しか見えません。サイト全体が不可視になります。

状態やセッションがない。 リクエストはそれぞれ独立しています。エージェントはログインも、カートの維持も、アクセス制限のあるコンテンツの閲覧もできません。

目的を持った遷移ができない。 エージェントには、47あるナビゲーションリンクのうち、どれが関連コンテンツに通じ、どれがプライバシーポリシーに通じるか分かりません。すべてのリンクが等しく不透明です。

切り詰めは情報の損失を伴う。 ページが長すぎると、ツールはコンテンツを削除します——最も重要な部分を削除してしまうかもしれません。

これがビジネスにとって意味すること

もしあなたのWebサイトがAIトラフィックに依存しているなら——そしてその傾向は強まる一方です——現在のモデルは極めて非効率です:

何が起きるか影響
エージェントが181 KBのHTMLをダウンロードノイズにトークンを浪費
コンテンツ抽出が誤判定商品に関する不正確な情報
JavaScriptで描画されたコンテンツエージェントにとって完全に不可視
構造化されたアクションがない「購入」や「登録」ボタンが見つからない
セマンティックリンクがない目的を持った遷移ではなく手探りでクロール

Webはまったく異なる2つのオーディエンスに対して、同じフォーマットを配信しています。 ブラウザにはHTML、CSS、JavaScriptが必要です。AIエージェントには構造化テキスト、メタデータ、そして宣言されたアクションが必要です。

より良いアプローチ

もしサーバーが、訪問者がAIエージェントであることを検知し、エージェントが必要とするものだけを正確に返せるとしたら?

それがAI向けコンテンツネゴシエーションの核心であり、MAKOプロトコルが実現するものです。4,125トークンのノイズだらけのHTMLの代わりに、エージェントは約276トークンの構造化されたメタデータ豊富なmarkdownを受け取ります。同じURL、同じサーバー、異なるレスポンス。

AIエージェントが今日あなたのサイトをどう体験しているか確認しませんか? MAKO Scoreをチェック——発見可能性、可読性、信頼性、実行可能性にわたる無料の監査レポートです。