AnyCrawl
any4ai 出品的开源网页抓取 API，把目标 URL 抓取并清洗成 Markdown 或结构化 JSON，适合开发者给大模型搭检索与训练数据管道。
AnyCrawl 是一个面向 AI 应用的网页抓取服务。它把网页上的内容抓下来，清洗成 Markdown 或结构化的 JSON，直接喂给大语言模型做检索、摘要或训练数据。对开发者来说，它省掉的是自己写解析器、处理反爬、清洗 HTML 这一整套活。
主要功能
调用方式是一个 REST 接口：把目标 URL 和引擎参数 POST 到 /v1/scrape，返回干净的数据。引擎可选自动模式，遇到 JavaScript 渲染的页面会切到 Playwright，单页应用和动态加载的内容也能拿到。输出支持 Markdown、HTML 和媒体文件，页面里的图片、视频、文件会被单独整理出来。
除了单页抓取，它还提供站点爬取、结构化数据提取和 SERP 结果抓取，后者可以从 Google、Bing、百度等搜索结果页取结构化结果。官方给了 OpenAPI 文档和 Docker 镜像，本地拉起来就能跑，默认监听 8080 端口。
费用与限制
免费额度是每月 1,000 credits，不需要绑卡，1 credit 大约对应抓取一个页面。付费按年订阅：Hobby 每年 99 美元给 5,000 credits，Pro 每年 499 美元给 40,000 credits，Business 每年 999 美元给 150,000 credits，并发数和监控频率随档位提高。也可以按量买，1,000 credits 4.99 美元，5,000 credits 19.99 美元，credits 不过期。企业需求要单独联系销售。
代码以 MIT 协议开源，托管在 GitHub 上，不想用托管服务可以自己部署，没有厂商锁定。界面和文档是英文，使用前需要注册账号拿 API key。
