---
title: research web
description: 公開Webページを探索・取得・抽出する。
canonical_url: https://orchestor.io/docs/cli/research/web
markdown_url: https://orchestor.io/docs/cli/research/web.md
contentType: reference
---

# research web

`orc research web` は、URL探索、本文取得、リンクのクロール、CSS・JSON-LDの抽出を行うコマンドです。保存済みのURL一覧や取得履歴を読み、Workspaceのサイトを登録・探索できます。

認証済みのCLIと、アクセス可能なWorkspaceが必要です。`--workspace` で今回の対象を指定できます。

## 使い方

```bash title="terminal"
orc research web map --url https://example.com --fallback none --workspace <workspace-id> --json
```

*有料fallbackを使わずURLを探索する。*

## サブコマンド

### `crawl`

指定URLからリンクをたどってページを取得します。最大10ページ・深さ3までの同期取得で、サイト画面の既知URL一括取得とは別の操作です。

```bash title="terminal"
orc research web crawl [options]
```

#### 固有のオプション

##### `--fallback`

Body field: fallback; enum: none|firecrawl

型: `string`。任意。

```bash title="terminal"
orc research web crawl --fallback <value>
```

##### `--formats`

Body field: formats; csv of: html|markdown

型: `string`。任意。

```bash title="terminal"
orc research web crawl --formats <value>
```

##### `--max-age`

Body field: maxAge

型: `number`。任意。

```bash title="terminal"
orc research web crawl --max-age <value>
```

##### `--max-depth`

Body field: maxDepth

型: `number`。任意。

```bash title="terminal"
orc research web crawl --max-depth <value>
```

##### `--url`

(required) Body field: url; max 2048 chars

型: `string`。任意。

```bash title="terminal"
orc research web crawl --url <value>
```

### `extract`

1〜10件のURLからCSSセレクターまたはJSON-LDを抽出します。selectorsモードでは一意な名前を持つ1〜20個のセレクターを指定します。

```bash title="terminal"
orc research web extract [options]
```

#### 固有のオプション

##### `--fallback`

Body field: fallback; enum: none|firecrawl

型: `string`。任意。

```bash title="terminal"
orc research web extract --fallback <value>
```

##### `--max-age`

Body field: maxAge

型: `number`。任意。

```bash title="terminal"
orc research web extract --max-age <value>
```

##### `--mode`

Body field: mode; enum: selectors|jsonld

型: `string`。任意。

```bash title="terminal"
orc research web extract --mode <value>
```

##### `--selectors`

Body field: selectors; JSON array of objects (use --stdin for large resources)

型: `string`。任意。

```bash title="terminal"
orc research web extract --selectors <value>
```

##### `--urls`

(required) Body field: urls; csv

型: `string`。任意。

```bash title="terminal"
orc research web extract --urls <value>
```

### `history get`

指定URLの保存済み取得履歴を最大20件取得します。履歴の参照期間は30日です。

```bash title="terminal"
orc research web history get [options]
```

#### 固有のオプション

##### `--url`

max 2048 chars

型: `string`。必須。

```bash title="terminal"
orc research web history get --url <value>
```

### `index get`

指定URLに保存された公開URL一覧と取得時刻を取得します。未保存の場合はnullです。

```bash title="terminal"
orc research web index get [options]
```

#### 固有のオプション

##### `--url`

max 2048 chars

型: `string`。必須。

```bash title="terminal"
orc research web index get --url <value>
```

### `map`

サイトマップ・llms.txt・リンクから最大100,000件のURLを探索します。本文の一括取得ではありません。既定の `firecrawl` fallbackを止める場合は `--fallback none` を指定します。

```bash title="terminal"
orc research web map [options]
```

#### 固有のオプション

##### `--fallback`

Body field: fallback; enum: none|firecrawl

型: `string`。任意。

```bash title="terminal"
orc research web map --fallback <value>
```

##### `--max-age`

Body field: maxAge

型: `number`。任意。

```bash title="terminal"
orc research web map --max-age <value>
```

##### `--sitemap`

Body field: sitemap; enum: include|only|skip

型: `string`。任意。

```bash title="terminal"
orc research web map --sitemap <value>
```

##### `--url`

(required) Body field: url; max 2048 chars

型: `string`。任意。

```bash title="terminal"
orc research web map --url <value>
```

### `scrape`

1〜10件のURLの本文を取得します。`--formats` でHTML・Markdownを選び、`--max-age 0` で新規取得を要求できます。

```bash title="terminal"
orc research web scrape [options]
```

#### 固有のオプション

##### `--fallback`

Body field: fallback; enum: none|firecrawl

型: `string`。任意。

```bash title="terminal"
orc research web scrape --fallback <value>
```

##### `--formats`

Body field: formats; csv of: html|markdown

型: `string`。任意。

```bash title="terminal"
orc research web scrape --formats <value>
```

##### `--max-age`

Body field: maxAge

型: `number`。任意。

```bash title="terminal"
orc research web scrape --max-age <value>
```

##### `--urls`

(required) Body field: urls; csv

型: `string`。任意。

```bash title="terminal"
orc research web scrape --urls <value>
```

### `sites list`

Workspaceに登録されたサイトを一覧表示します。

```bash title="terminal"
orc research web sites list [options]
```

### `sites create`

ドメインを空のサイトインデックスとして登録します。取得や定期実行は開始しません。

```bash title="terminal"
orc research web sites create [options]
```

#### 固有のオプション

##### `--domain`

(required) Body field: domain; max 253 chars

型: `string`。任意。

```bash title="terminal"
orc research web sites create --domain <value>
```

### `sites discover`

ホームページのリンクから最大30件の未登録サイト候補を探します。登録・キャプチャ保存・有料fallbackは行いません。

```bash title="terminal"
orc research web sites discover [options]
```

#### 固有のオプション

##### `--domain`

(required) Body field: domain; max 253 chars

型: `string`。任意。

```bash title="terminal"
orc research web sites discover --domain <value>
```

## 使用例

### CSSセレクターの複雑な入力を送る。

```bash title="terminal"
orc research web extract --urls https://example.com --mode selectors --selectors '[{"name":"title","selector":"h1","multiple":false}]' --workspace <workspace-id> --json
```

*CSSセレクターの複雑な入力を送る。*

## 入力例と取得範囲

`--urls` と `--formats` はカンマ区切りです。`--max-age` は秒、`--max-depth` はリンクの深さです。URLに認証情報や任意のポートは指定できません。

```bash title="terminal"
orc research web scrape --urls https://example.com,https://example.com/docs --formats markdown --max-age 0 --workspace YOUR_WORKSPACE_ID
orc research web crawl --url https://example.com --limit 5 --max-depth 1 --fallback none --workspace YOUR_WORKSPACE_ID
orc research web extract --urls https://example.com --mode jsonld --workspace YOUR_WORKSPACE_ID
orc research web extract --urls https://example.com --mode selectors --selectors '[{"name":"title","selector":"h1","multiple":false}]' --workspace YOUR_WORKSPACE_ID
orc research web index get --url https://example.com --workspace YOUR_WORKSPACE_ID
orc research web history get --url https://example.com --workspace YOUR_WORKSPACE_ID
orc research web sites create --domain example.com --workspace YOUR_WORKSPACE_ID
orc research web sites discover --domain example.com --workspace YOUR_WORKSPACE_ID
orc research web sites list --workspace YOUR_WORKSPACE_ID
```

- mapはサイトマップ・llms.txt・リンクから最大100,000 URLを探索します。ページ本文の一括取得ではありません。
- scrape・extractは1回最大10 URL、crawlは最大10ページ・深さ3です。CLIのcrawlはリンク探索です。サイト画面の「Crawl」による最大1,000ページのバッチ処理とは別の操作です。
- extractはCSSセレクターまたはJSON-LDの抽出です。LLMによる推論ではありません。selectorsモードでは1〜20個の一意な名前とselectorが必要です。`attribute` で属性値、`multiple: true` で複数の一致を返します。複雑な入力は `--stdin` でJSONを渡せます。
- scrapeで本文を保存してメタデータだけ返す場合、JSON入力に `"formats": []` を指定してください。
- sites createはドメイン登録だけを行い、取得や定期実行を開始しません。discoverはホームページのリンクから最大30件の未登録サイトを返し、登録・保存・有料フォールバックを行いません。

## レスポンス・保存・エラー

JSON出力の `data` 内にAPIレスポンス全体を保持します。取得系では `data.data` の各URLの `status`、`data.truncated`、`data.warnings`、`data.usage` を確認してください。HTTP 200でも一部失敗・打ち切りがあります。usageはリクエスト回数であり、料金ではありません。サイト一覧・履歴は `data.data`、indexは `data.result` と `data.fetchedAt` を返し、未保存ならnullです。

取得内容は保存されます。匿名の共有可能なキャプチャは最大24時間再利用され、クエリ付きURL・非共有レスポンス・Firecrawl取得内容はWorkspace単位です。履歴は最大20件、参照期間は30日です。`--max-age 0` は新規取得を要求します。raw本文に元サイトの認証Cookieは送りません。

mapは最大90秒、その他の取得操作は最大40秒の同期処理です。robots拒否や内部ネットワークURLは回避しません。mapの `firecrawl` フォールバックはサイトマップ探索が不完全な場合、それ以外は明示指定時のブロック応答で外部呼び出しが発生し得ます。

`--dry-run` は送信・保存せずにリクエストを表示します。`--raw` はCLIの外枠を省略します。自動巡回の `--page-all` は使えません。終了コードは成功0、API・認証・通信失敗1、引数エラー2です。401/403ではログイン・Workspace・アクセス条件を確認してください。部分失敗を再実行する際は各URLの結果を確認してください。

## 必要な権限

対象Workspaceへのアクセスと操作に必要な認証・スコープが適用されます。

## グローバルオプション

`orc research web` では、次の[グローバルオプション](https://orchestor.io/docs/cli/global-flags.md)を使用できます。

- [`--help`](https://orchestor.io/docs/cli/global-flags.md#%E3%83%98%E3%83%AB%E3%83%97)
- [`--workspace`](https://orchestor.io/docs/cli/global-flags.md#%E3%83%AF%E3%83%BC%E3%82%AF%E3%82%B9%E3%83%9A%E3%83%BC%E3%82%B9)
- [`--json`](https://orchestor.io/docs/cli/global-flags.md#json-%E5%87%BA%E5%8A%9B)
- [`--pretty`](https://orchestor.io/docs/cli/global-flags.md#json-%E5%87%BA%E5%8A%9B)
- [`--format`](https://orchestor.io/docs/cli/global-flags.md#%E5%87%BA%E5%8A%9B%E5%BD%A2%E5%BC%8F)
- [`--field`](https://orchestor.io/docs/cli/global-flags.md#%E3%83%95%E3%82%A3%E3%83%BC%E3%83%AB%E3%83%89%E3%81%AE%E6%8A%BD%E5%87%BA)
- [`--fields`](https://orchestor.io/docs/cli/global-flags.md#%E3%83%95%E3%82%A3%E3%83%BC%E3%83%AB%E3%83%89%E3%81%AE%E6%8A%BD%E5%87%BA)
- [`--raw`](https://orchestor.io/docs/cli/global-flags.md#%E5%80%A4%E3%81%A0%E3%81%91%E3%82%92%E5%87%BA%E5%8A%9B)
- [`--output`](https://orchestor.io/docs/cli/global-flags.md#%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB%E3%81%B8%E3%81%AE%E5%87%BA%E5%8A%9B)
- [`--no-pager`](https://orchestor.io/docs/cli/global-flags.md#%E3%83%9A%E3%83%BC%E3%82%B8%E9%80%81%E3%82%8A)
- [`--dry-run`](https://orchestor.io/docs/cli/global-flags.md#%E3%83%AA%E3%82%AF%E3%82%A8%E3%82%B9%E3%83%88%E3%81%AE%E4%BA%8B%E5%89%8D%E7%A2%BA%E8%AA%8D)
- [`--yes`](https://orchestor.io/docs/cli/global-flags.md#%E7%A2%BA%E8%AA%8D%E3%81%AE%E7%9C%81%E7%95%A5)
- [`--limit`](https://orchestor.io/docs/cli/global-flags.md)
- [`--stdin`](https://orchestor.io/docs/cli/global-flags.md#%E6%A8%99%E6%BA%96%E5%85%A5%E5%8A%9B)
- [`--from-stdin`](https://orchestor.io/docs/cli/global-flags.md#%E6%A8%99%E6%BA%96%E5%85%A5%E5%8A%9B)
- [`--timing`](https://orchestor.io/docs/cli/global-flags.md#%E3%83%AA%E3%82%AF%E3%82%A8%E3%82%B9%E3%83%88%E6%99%82%E9%96%93)
- [`--readonly`](https://orchestor.io/docs/cli/global-flags.md#%E8%AA%AD%E3%81%BF%E5%8F%96%E3%82%8A%E5%B0%82%E7%94%A8%E3%83%A2%E3%83%BC%E3%83%89)
- [`--wrap-untrusted`](https://orchestor.io/docs/cli/global-flags.md#%E5%A4%96%E9%83%A8%E3%83%86%E3%82%AD%E3%82%B9%E3%83%88%E3%81%AE%E7%9B%AE%E5%8D%B0%E4%BB%98%E3%81%91)

各オプションの詳細と使用例は、[グローバルオプション](https://orchestor.io/docs/cli/global-flags.md)を参照してください。

---

[Documentation index](https://orchestor.io/docs/llms.txt)