MediaCrawler
用 Python 写的开源命令行爬虫，可按关键词或帖子 ID 抓取小红书、抖音、B 站、微博等平台的公开帖子与评论，数据能存成 CSV、JSON 或写入 SQLite、MySQL，适合学习爬虫的开发者照着文档跑通一次抓取流程。
MediaCrawler 是一个用 Python 写的开源爬虫项目，目标是把小红书、抖音、快手、B站、微博、百度贴吧、知乎这些平台上的公开帖子和评论抓下来。它不提供图形界面，装好依赖后在命令行里跑，靠参数指定平台、登录方式和抓取类型。作者在文档里反复强调用途是学习和研究，禁止商用。
主要功能
抓取方式分两种：按关键词搜索，或按指定的帖子 ID 列表逐条抓详情。评论默认不抓，要在 config/base_config.py 里把 ENABLE_GET_COMMENTS 打开。登录走扫码，命令里用 --lt qrcode 指定。抓到的数据可以存成 CSV、JSON，也可以写进 SQLite 或 MySQL；SQLite 不需要另装服务，文档推荐个人用户用它，MySQL 则要提前建好库，并用 --init_db 初始化。
安装与运行
文档推荐用 uv 管理依赖，Python 版本建议 3.11；抓抖音、知乎还要装 Node.js，版本不低于 16。流程是 uv sync 同步依赖、uv run playwright install 装浏览器驱动，然后 uv run main.py --platform xhs --type search 这样跑起来。也给了 venv 加 pip 的备选做法，但标注为不推荐。项目支持让 Playwright 连接本地 Chrome，相关开关同样在配置文件里。
费用与限制
开源版免费，Pro 版不开源，需要加作者微信付费订阅，主要多了多账号、IP 代理池、Docker 部署和去掉 Playwright 依赖这些改动。用之前要想清楚：爬取行为本身有法律风险，文档里专门挂了国内爬虫违法案例的仓库链接；平台接口和页面会变，脚本需要跟着维护。