エージェント分析

クローラー検証

クローラー検証の流れ

User-Agent にサービス名が含まれているだけでは、そのサービスからのアクセスとは確認できません。DNS、公開 IP 範囲、ASN、行動パターンを使って、申告されたクローラーの出所を照合します。

検証が必要な理由

なりすましを区別する
分析データの精度を保つ
クロールに使われるリソースを把握する
セキュリティ要件に沿ってアクセスを評価する
正規クローラーへのコンテンツ配信を改善する

主な検証方法

方法	確認する内容
逆引き DNS	IP に対応するホスト名と組織のドメイン
IP 範囲	公開されたクローラー用アドレス範囲との一致
ASN	接続元ネットワークの所属
ヒューリスティック	特徴的な署名やアクセスパターン

共有クラウドの ASN や User-Agent、行動パターンだけではサービスの真正性を断定できません。以下は検証方法の一覧であり、すべてが同じ確度で検証できるという意味ではありません。

プラットフォーム別の検証

公開情報で検証できるプラットフォーム

部分的な検証となるプラットフォーム

共有クラウドの IP を使う、または検証方法が公開されていないプラットフォームは、完全な確認が難しい場合があります。

Anthropic
You.com
Bytedance
Common Crawl
Yahoo
OpenClaw
DeepSeek
Baidu
BaiduSpider: 逆引き DNS
Huawei
Mistral
Yandex
Gemini

検証方法の更新

新しい AI プラットフォーム、クローラー基盤の変更、新しい検証方法、セキュリティ要件の変化に合わせて検証方法を見直します。固定した一覧だけで将来のアクセスを判断しないでください。

分析データの更新について

識別方法が変わると、過去と現在のデータの分類が変わる場合があります。大きな増減を見たときは、実際のアクセス量の変化と検証・分類方法の更新を分けて確認します。

Crawler breakdown report

POST /v1/reports/crawler-breakdown is an Alpha read of stored visit logs.
Group by path, host, status, purpose, crawler, or UTC date.
Only requested dimensions are returned. Purpose is the stored bot type with the
existing crawler classification as fallback: ai_training, index, ai_agent
or unknown. A purpose describes a request, not proof of a citation or training.

Supply inclusive start_date and end_date. Optional filters accepts arrays
for path, host, status, purpose, and crawler. Values in a field use OR;
fields use AND. An empty array selects no visits. Unsupported fields and
dimensions return 400. Results are restricted to your workspace, ordered by
count and then the requested dimensions. limit, offset, has_more and
next_offset page the ranking. Historical daily counters have no path or
status evidence and are excluded.

orc reports crawler-breakdown --start-date 2026-11-01 --end-date 2026-11-02 --dimensions path,host,status,purpose

MCP: get_crawler_breakdown_report accepts the same JSON fields.

​クローラー検証