research web
orc research web は、URL探索、本文取得、リンクのクロール、CSS・JSON-LDの抽出を行うコマンドです。保存済みのURL一覧や取得履歴を読み、Workspaceのサイトを登録・探索できます。
認証済みのCLIと、アクセス可能なWorkspaceが必要です。--workspace で今回の対象を指定できます。
使い方
orc research web map --url https://example.com --fallback none --workspace <workspace-id> --json有料fallbackを使わずURLを探索する。
サブコマンド
crawl
指定URLからリンクをたどってページを取得します。最大10ページ・深さ3までの同期取得で、サイト画面の既知URL一括取得とは別の操作です。
orc research web crawl [options]固有のオプション
--fallback
Body field: fallback; enum: none|firecrawl
型: string。任意。
orc research web crawl --fallback <value>--formats
Body field: formats; csv of: html|markdown
型: string。任意。
orc research web crawl --formats <value>--max-age
Body field: maxAge
型: number。任意。
orc research web crawl --max-age <value>--max-depth
Body field: maxDepth
型: number。任意。
orc research web crawl --max-depth <value>--url
(required) Body field: url; max 2048 chars
型: string。任意。
orc research web crawl --url <value>extract
1〜10件のURLからCSSセレクターまたはJSON-LDを抽出します。selectorsモードでは一意な名前を持つ1〜20個のセレクターを指定します。
orc research web extract [options]固有のオプション
--fallback
Body field: fallback; enum: none|firecrawl
型: string。任意。
orc research web extract --fallback <value>--max-age
Body field: maxAge
型: number。任意。
orc research web extract --max-age <value>--mode
Body field: mode; enum: selectors|jsonld
型: string。任意。
orc research web extract --mode <value>--selectors
Body field: selectors; JSON array of objects (use --stdin for large resources)
型: string。任意。
orc research web extract --selectors <value>--urls
(required) Body field: urls; csv
型: string。任意。
orc research web extract --urls <value>history get
指定URLの保存済み取得履歴を最大20件取得します。履歴の参照期間は30日です。
orc research web history get [options]固有のオプション
--url
max 2048 chars
型: string。必須。
orc research web history get --url <value>index get
指定URLに保存された公開URL一覧と取得時刻を取得します。未保存の場合はnullです。
orc research web index get [options]固有のオプション
--url
max 2048 chars
型: string。必須。
orc research web index get --url <value>map
サイトマップ・llms.txt・リンクから最大100,000件のURLを探索します。本文の一括取得ではありません。既定の firecrawl fallbackを止める場合は --fallback none を指定します。
orc research web map [options]固有のオプション
--fallback
Body field: fallback; enum: none|firecrawl
型: string。任意。
orc research web map --fallback <value>--max-age
Body field: maxAge
型: number。任意。
orc research web map --max-age <value>--sitemap
Body field: sitemap; enum: include|only|skip
型: string。任意。
orc research web map --sitemap <value>--url
(required) Body field: url; max 2048 chars
型: string。任意。
orc research web map --url <value>scrape
1〜10件のURLの本文を取得します。--formats でHTML・Markdownを選び、--max-age 0 で新規取得を要求できます。
orc research web scrape [options]固有のオプション
--fallback
Body field: fallback; enum: none|firecrawl
型: string。任意。
orc research web scrape --fallback <value>--formats
Body field: formats; csv of: html|markdown
型: string。任意。
orc research web scrape --formats <value>--max-age
Body field: maxAge
型: number。任意。
orc research web scrape --max-age <value>--urls
(required) Body field: urls; csv
型: string。任意。
orc research web scrape --urls <value>sites list
Workspaceに登録されたサイトを一覧表示します。
orc research web sites list [options]sites create
ドメインを空のサイトインデックスとして登録します。取得や定期実行は開始しません。
orc research web sites create [options]固有のオプション
--domain
(required) Body field: domain; max 253 chars
型: string。任意。
orc research web sites create --domain <value>sites discover
ホームページのリンクから最大30件の未登録サイト候補を探します。登録・キャプチャ保存・有料fallbackは行いません。
orc research web sites discover [options]固有のオプション
--domain
(required) Body field: domain; max 253 chars
型: string。任意。
orc research web sites discover --domain <value>使用例
CSSセレクターの複雑な入力を送る。
orc research web extract --urls https://example.com --mode selectors --selectors '[{"name":"title","selector":"h1","multiple":false}]' --workspace <workspace-id> --jsonCSSセレクターの複雑な入力を送る。
入力例と取得範囲
--urls と --formats はカンマ区切りです。--max-age は秒、--max-depth はリンクの深さです。URLに認証情報や任意のポートは指定できません。
orc research web scrape --urls https://example.com,https://example.com/docs --formats markdown --max-age 0 --workspace YOUR_WORKSPACE_ID
orc research web crawl --url https://example.com --limit 5 --max-depth 1 --fallback none --workspace YOUR_WORKSPACE_ID
orc research web extract --urls https://example.com --mode jsonld --workspace YOUR_WORKSPACE_ID
orc research web extract --urls https://example.com --mode selectors --selectors '[{"name":"title","selector":"h1","multiple":false}]' --workspace YOUR_WORKSPACE_ID
orc research web index get --url https://example.com --workspace YOUR_WORKSPACE_ID
orc research web history get --url https://example.com --workspace YOUR_WORKSPACE_ID
orc research web sites create --domain example.com --workspace YOUR_WORKSPACE_ID
orc research web sites discover --domain example.com --workspace YOUR_WORKSPACE_ID
orc research web sites list --workspace YOUR_WORKSPACE_ID- mapはサイトマップ・llms.txt・リンクから最大100,000 URLを探索します。ページ本文の一括取得ではありません。
- scrape・extractは1回最大10 URL、crawlは最大10ページ・深さ3です。CLIのcrawlはリンク探索です。サイト画面の「Crawl」による最大1,000ページのバッチ処理とは別の操作です。
- extractはCSSセレクターまたはJSON-LDの抽出です。LLMによる推論ではありません。selectorsモードでは1〜20個の一意な名前とselectorが必要です。
attributeで属性値、multiple: trueで複数の一致を返します。複雑な入力は--stdinでJSONを渡せます。 - scrapeで本文を保存してメタデータだけ返す場合、JSON入力に
"formats": []を指定してください。 - sites createはドメイン登録だけを行い、取得や定期実行を開始しません。discoverはホームページのリンクから最大30件の未登録サイトを返し、登録・保存・有料フォールバックを行いません。
レスポンス・保存・エラー
JSON出力の data 内にAPIレスポンス全体を保持します。取得系では data.data の各URLの status、data.truncated、data.warnings、data.usage を確認してください。HTTP 200でも一部失敗・打ち切りがあります。usageはリクエスト回数であり、料金ではありません。サイト一覧・履歴は data.data、indexは data.result と data.fetchedAt を返し、未保存ならnullです。
取得内容は保存されます。匿名の共有可能なキャプチャは最大24時間再利用され、クエリ付きURL・非共有レスポンス・Firecrawl取得内容はWorkspace単位です。履歴は最大20件、参照期間は30日です。--max-age 0 は新規取得を要求します。raw本文に元サイトの認証Cookieは送りません。
mapは最大90秒、その他の取得操作は最大40秒の同期処理です。robots拒否や内部ネットワークURLは回避しません。mapの firecrawl フォールバックはサイトマップ探索が不完全な場合、それ以外は明示指定時のブロック応答で外部呼び出しが発生し得ます。
--dry-run は送信・保存せずにリクエストを表示します。--raw はCLIの外枠を省略します。自動巡回の --page-all は使えません。終了コードは成功0、API・認証・通信失敗1、引数エラー2です。401/403ではログイン・Workspace・アクセス条件を確認してください。部分失敗を再実行する際は各URLの結果を確認してください。
必要な権限
対象Workspaceへのアクセスと操作に必要な認証・スコープが適用されます。
グローバルオプション
orc research web では、次のグローバルオプションを使用できます。
各オプションの詳細と使用例は、グローバルオプションを参照してください。