Apache Spark
Apache 软件基金会开源的分布式计算引擎,支持批流一体、SQL 分析和机器学习,用 Python、SQL、Scala、Java、R 编写,给数据工程师和数据科学家处理大规模数据。
最近 5 次实测
5 次可以打开平均 1.9 秒
本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。Apache Spark 是一个开源的分布式计算引擎,用来在一台机器或成千上万台机器的集群上跑数据工程、数据科学和机器学习任务。它把批处理和实时流处理统一到同一套 API 里,写代码时不用为两种场景准备两套工具。
主要功能
Spark 自带几个核心组件:Spark SQL 可以用 ANSI SQL 查结构化表,也能直接读 JSON、图片这类非结构化数据;MLlib 提供机器学习算法,在笔记本上训练好的模型可以原样扩展到集群;Spark Streaming 处理实时数据流;GraphX 做图计算,不过页面上已经标了 deprecated。语言方面支持 Python、SQL、Scala、Java 和 R,装 pyspark 用 pip 一行就能跑起来,官方也提供 Docker 镜像。
适合谁
需要处理单机放不下的数据量、又不想自己从头搭分布式框架的团队。页面提到财富 500 强里有 80% 的公司用 Spark,开源项目有超过 2000 名贡献者,生态里能接上常见的数据科学、BI 和存储工具。做探索性分析时可以直接对 PB 级数据跑,不用先降采样。
费用与限制
项目本身以 Apache License 2.0 发布,下载和使用不收费。它是引擎和库,不是装好就能点的桌面软件,要自己准备运行环境;集群规模上去以后,调优和运维是另外的功夫。GraphX 已标记为弃用,新项目不建议再选它。
常见问题
Apache Spark 收费吗?
Apache Spark 免费使用。Apache License 2.0 开源免费。
用 Apache Spark 要登录吗?
不用登录就能用。
Apache Spark 有哪些平台 / App?
支持 Linux、macOS、Windows。
