Crawlbase
托管式网页抓取基础设施,一个 Crawling API 端点即可完成代理轮换、JavaScript 渲染与反爬处理,返回干净 HTML 或类型化字段,另有批量爬虫与云存储,适合数据团队给 AI 智能体喂实时网页。
3 次可以打开平均 3.7 秒
本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。Crawlbase 是一套托管式网页抓取基础设施,自 2017 年起运营。它要解决的是抓取里最耗人的那部分:网站改版、反爬升级、IP 被封。你只发一个目标 URL 过去,路由选代理、JavaScript 渲染、提取、存储、交付这些环节由它跑完,返回干净的 HTML 或结构化字段。
主要产品
核心是 Crawling API:一个端点应对任意页面,加上 scraper 参数就能拿到类型化字段而不是原始标记。Enterprise Crawler 面向大批量场景,推送数百万个 URL,通过回调收结果,不用自己管队列。Smart AI Proxy 提供覆盖 30 个地区的住宅和数据中心 IP 自动轮换。Cloud Storage 把抓过的页面留着,之后可以直接从存储里取回,不必重爬源站。另有 Web MCP Server,通过 Model Context Protocol 让 AI 智能体读取实时网页。
怎么接入
底层是纯 HTTP,官方提供 Node、Python、Ruby、PHP、Java、.NET 和 Go 的 SDK,几行代码即可调用。文档里有 API 参考和浏览器内的在线试用,也有按站点整理的抓取配方,以及 Zapier、n8n 这类自动化工具的集成。一个令牌通用于所有产品。
费用与限制
注册后最多 5,000 次请求免费,无需信用卡,只对成功的请求计费。按量付费没有月费,每 1,000 次请求 $3.00 起,随用量累进降到 $0.02;网站防护越严、需要 JavaScript 渲染的请求按倍率折算积分。订阅从 $99/月(每月 20 万积分)起,年付赠送一个月。企业方案可定制用量、SLA 和发票结算。
