Polars
开源 DataFrame 计算引擎,支持 Python 与 SQL 两种写法跑在同一引擎上,执行前做查询规划以加速,适合数据量一大 pandas 跑不动时在单机上处理百万行级数据。
5 次可以打开平均 2.0 秒
本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。Polars 是一个开源的 DataFrame 计算引擎,主要给用 Python 或 SQL 处理数据的人。它要解决的是数据量一大、pandas 跑不动或等太久的问题:同样的查询,它会在执行前做查询规划,把多余的计算去掉,从而在更小的机器上更快出结果。官网给出的对比里,Polars 跑完 34.63 秒,DuckDB 2.0 是 42.12 秒,DataFusion 是 78.04 秒,pandas 未跑完。
怎么写查询
习惯 pandas、Spark 或 SQL 的人上手会比较顺。DataFrame 写法和 SQL 写法跑在同一个引擎上,性能一致。代码里可以直接扫描 Iceberg 之类的数据源,接上 filter、join、group_by、agg、sort 一串操作。它也提供 Rust 版本,官网把 Python 和 Rust 并列为两个主要入口。
单机与集群
开源版面向单机:装好就能在自己机器上处理百万行级的数据。要横向扩展时,同一份查询可以不改动地放到集群或 GPU 上跑,这部分由商业平台 Polars Nanook 承接,负责按需、批量和 agentic 负载的基础设施。数据可以完全留在自己的环境里,也有 On-Premise 部署方式。
费用与限制
开源版采用 MIT 许可证,永久免费。Nanook 按计算量计费,不按人头收费:Developer 档免费,每月含 2,000 vCPU-hours,超出按 $0.05/vCPU-hour 计;Team 档 $200/月,含 5,000 vCPU-hours,之后同样 $0.05/vCPU-hour;Enterprise 为定制报价,支持气隙部署。登录入口在 Nanook 的门户,开源版本身不需要账号。官网界面为英文。
