Back to Details

firecrawl-crawl

Compare original and translation side by side

🇺🇸

Original

English
🇨🇳

Translation

Chinese

firecrawl crawl

firecrawl crawl

Bulk extract content from a website. Crawls pages following links up to a depth/limit.
Prerequisite: 
crawl
requires authentication (no keyless free tier); without credentials the CLI prompts an interactive login.
从网站批量提取内容。按照链接爬取页面，支持设置深度/数量限制。
前置条件： 
crawl
功能需要身份验证（无免密钥免费层级）；若无凭证，CLI会提示进行交互式登录。

Quick start

快速开始

bash
undefined
bash
undefined

Crawl a docs section

爬取文档分区

firecrawl crawl "<url>" --include-paths /docs --limit 50 --wait -o .firecrawl/crawl.json
firecrawl crawl "<url>" --include-paths /docs --limit 50 --wait -o .firecrawl/crawl.json

Full crawl with depth limit

带深度限制的完整爬取

firecrawl crawl "<url>" --max-depth 3 --wait --progress -o .firecrawl/crawl.json
firecrawl crawl "<url>" --max-depth 3 --wait --progress -o .firecrawl/crawl.json

Check status of a running crawl

查看正在运行的爬取任务状态

firecrawl crawl <job-id>

Run `firecrawl crawl --help` for the full option list.

**Done when:** the crawl reaches a terminal status and the saved output under `.firecrawl/` contains the expected pages.
firecrawl crawl <job-id>

运行 `firecrawl crawl --help` 获取完整选项列表。

**完成标志：** 爬取任务进入终端状态，且`.firecrawl/`目录下保存的输出文件包含预期页面内容。

Tips

提示

  • Use 
    --wait
    when you need the results immediately. It has no default timeout; use 
    --timeout <seconds>
    to bound polling. Without 
    --wait
    , crawl returns a job ID for async polling.
  • Scope crawls with 
    --include-paths
     whenever the request names a section — crawl only the pages you need.
  • Crawl consumes credits per page. Check 
    firecrawl credit-usage
    before large crawls (
    credit-usage
    requires authentication).
  • 若需要立即获取结果，请使用
    --wait
    参数。该参数无默认超时时间；可使用
    --timeout <seconds>
    设置轮询时长上限。不使用
    --wait
    时，爬取命令会返回任务ID用于异步轮询。
  • 使用
    --include-paths
    限定爬取范围    ——当目标是网站某个分区时，仅爬取你需要的页面。
  • 爬取每页会消耗积分。大规模爬取前，请使用
    firecrawl credit-usage
    查看积分使用情况（
    credit-usage
    功能需要身份验证）。

See also

另请参阅

  • firecrawl-scrape — scrape individual pages
  • firecrawl-map — discover URLs before deciding to crawl
  • firecrawl-download — download site to local files (uses map + scrape)
  • firecrawl-scrape —— 爬取单个页面
  • firecrawl-map —— 在决定爬取前发现网站URL
  • firecrawl-download —— 将网站内容下载到本地文件（基于map + scrape功能实现）