huey
Python 写的轻量级任务队列,用装饰器把函数调用排进队列、稍后取结果,支持失败重试、crontab 周期任务和延迟执行,后端可选 Redis、Postgres、SQLite 或纯内存,适合不想引入重型消息中间件的小型项目做后台异步处理。
3 次可以打开平均 2.7 秒
本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。huey 是一个用 Python 写的任务队列,定位是「轻量级替代方案」。它把普通函数变成由独立消费者进程执行的任务,主程序把调用排进队列后立刻拿到一个结果句柄,等任务跑完再取结果。适合不想为后台任务引入一整套重型消息中间件的小型项目。
主要功能
用 @huey.task() 装饰的函数,调用时不会当场执行,而是把这次调用放进队列;返回的 Result 对象可以稍后再调用取值。加 retries 和 retry_delay 参数可以让失败的任务自动重试,periodic_task 配合 crontab 表达式则用来跑每天凌晨备份这类周期性工作。任务也可以指定延迟,到点再执行。
文档列出的能力还包括:任务优先级、结果存储、任务过期、任务锁、速率限制和超时,以及把多个任务串成 pipeline 或 chain,用 group 做扇出、用 chord 做 map/reduce。执行模型可选多进程、多线程或 greenlet,IO 密集的负载用线程或 greenlet 更合适。
存储与运行
后端可以是 Redis(也支持 Valkey、Redict)、Postgres、SQLite、文件系统或纯内存。项目自称零依赖,只有用 Redis 类 broker 时才需要 redis-py,用 Postgres 时需要 psycopg。消费者通过命令行启动,例如 huey_consumer my_app.huey -k process -w 4 表示开四个工作进程。
文档还覆盖了 Django 集成(原生方式或通过 django.tasks,可选 admin 面板查看和管理任务)、AsyncIO、Flask 与 FastAPI 的用法,以及部署到 systemd、supervisord、Docker、Kubernetes 和 Heroku 类平台的说明,另有监控、信号和常见坑的章节。
适合谁
已经在写 Python 服务、需要把发邮件、跑备份、调外部接口这类耗时操作挪到后台的开发者。项目文档当前对应 3.5.4 版本,版权信息显示从 2013 年维护至今。
