---
title: クローラー検証
description: AI・検索クローラーの検証方法と、プラットフォームごとの識別上の制約を説明します。
canonical_url: https://orchestor.io/docs/traffic/crawler-verification
markdown_url: https://orchestor.io/docs/traffic/crawler-verification.md
contentType: how-to
---

# クローラー検証

## クローラー検証の流れ

User-Agent にサービス名が含まれているだけでは、そのサービスからのアクセスとは確認できません。DNS、公開 IP 範囲、ASN、行動パターンを使って、申告されたクローラーの出所を照合します。

## 検証が必要な理由

- なりすましを区別する
- 分析データの精度を保つ
- クロールに使われるリソースを把握する
- セキュリティ要件に沿ってアクセスを評価する
- 正規クローラーへのコンテンツ配信を改善する

## 主な検証方法

| 方法 | 確認する内容 |
| --- | --- |
| 逆引き DNS | IP に対応するホスト名と組織のドメイン |
| IP 範囲 | 公開されたクローラー用アドレス範囲との一致 |
| ASN | 接続元ネットワークの所属 |
| ヒューリスティック | 特徴的な署名やアクセスパターン |

> **Warning**
> 
> 共有クラウドの ASN や User-Agent、行動パターンだけではサービスの真正性を断定できません。以下は検証方法の一覧であり、すべてが同じ確度で検証できるという意味ではありません。

## プラットフォーム別の検証

### 公開情報で検証できるプラットフォーム

- [**Google**](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers)
- [**Microsoft Bing**](https://www.bing.com/webmasters/help/which-crawlers-does-bing-use-8c184ec0)
- [**Apple**](https://support.apple.com/en-us/119829)
- [**OpenAI**](https://platform.openai.com/docs/bots)
- OAI-SearchBot: IP 範囲 + ASN
- [**Duck Duck Go**](https://duckduckgo.com/duckduckgo-help-pages/results/duckduckbot)
- [**Perplexity**](https://docs.perplexity.ai/guides/bots)
- [**Meta**](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/#identify-2)
- [**Amazon**](https://developer.amazon.com/amazonbot)

### 部分的な検証となるプラットフォーム

共有クラウドの IP を使う、または検証方法が公開されていないプラットフォームは、完全な確認が難しい場合があります。

- [**Anthropic**](https://privacy.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
- **You.com**
- **Bytedance**
- [**Common Crawl**](https://commoncrawl.org/ccbot)
- **Yahoo**
- **OpenClaw**
- **DeepSeek**
- **Baidu**
- BaiduSpider: 逆引き DNS
- **Huawei**
- [**Mistral**](https://docs.mistral.ai/robots)
- **Yandex**
- **Gemini**

## 検証方法の更新

新しい AI プラットフォーム、クローラー基盤の変更、新しい検証方法、セキュリティ要件の変化に合わせて検証方法を見直します。固定した一覧だけで将来のアクセスを判断しないでください。

## 分析データの更新について

識別方法が変わると、過去と現在のデータの分類が変わる場合があります。大きな増減を見たときは、実際のアクセス量の変化と検証・分類方法の更新を分けて確認します。

---

[Documentation index](https://orchestor.io/docs/llms.txt)