エージェント分析

クローラー検証

クローラー検証の流れ

User-Agent にサービス名が含まれているだけでは、そのサービスからのアクセスとは確認できません。DNS、公開 IP 範囲、ASN、行動パターンを使って、申告されたクローラーの出所を照合します。

共有クラウドの ASN や User-Agent、行動パターンだけではサービスの真正性を断定できません。以下は検証方法の一覧であり、すべてが同じ確度で検証できるという意味ではありません。

共有クラウドの IP を使う、または検証方法が公開されていないプラットフォームは、完全な確認が難しい場合があります。

新しい AI プラットフォーム、クローラー基盤の変更、新しい検証方法、セキュリティ要件の変化に合わせて検証方法を見直します。固定した一覧だけで将来のアクセスを判断しないでください。

識別方法が変わると、過去と現在のデータの分類が変わる場合があります。大きな増減を見たときは、実際のアクセス量の変化と検証・分類方法の更新を分けて確認します。