Crawlee

Crawlee 是一个用 JavaScript 或 Python 写网页爬虫的库。它把抓取过程中反复要处理的事情——请求排队、失败重试、代理切换、用无头浏览器打开页面——都封装好了，你只需要写一个处理函数，说明拿到每个页面后要提取什么数据。代码里用 PlaywrightCrawler 启动浏览器，在 requestHandler 里取标题、存数据、把页面上的链接加进队列，最后把结果导出成 CSV 或直接读出来。

主要功能

库本身不绑定具体网站，提供的是爬虫骨架：自动管理待抓 URL 队列，控制并发，遇到反爬或加载失败时按策略重试。需要渲染 JavaScript 的页面可以交给 Playwright 或 Puppeteer 控制的无头浏览器，不需要浏览器的静态页面则用更轻的 HTTP 抓取。抓到的数据默认存进本地数据集目录，也能一键导出文件。

适合谁

适合已经会写代码、需要批量采集网页内容的开发者，尤其是要长期维护爬虫、不想每次从零处理队列和浏览器的人。官方提供命令行工具，用 npx crawlee create 或 uvx 'crawlee[cli]' create 就能从模板起一个新项目，文档、示例和 API 参考都挂在站上。

费用与限制

项目永久免费且开源，由 Apify 维护，代码在 GitHub 上。它不会替你修复失效的页面选择器，网站改版后提取规则仍要自己更新。界面和文档以英文为主，使用前需要熟悉 JavaScript 或 Python 的基本写法。