Apache Spark

spark.apache.org官网已核对又名 Spark

Apache 软件基金会开源的分布式计算引擎,支持批流一体、SQL 分析和机器学习,用 Python、SQL、Scala、Java、R 编写,给数据工程师和数据科学家处理大规模数据。

打开官网替代品 5 个 本站 11 月 22 日 实测可以打开
最近 5 次实测

5 次可以打开平均 1.9 秒

本站从国内机房定期实测。竖条由远及近:绿 = 可以打开,橙 = 国内不可直接访问,灰 = 打不开。
spark.apache.orgApache Spark 首页截图

spark.apache.org 首页 · 本站实拍 · 点开看大图

Apache Spark 是一个开源的分布式计算引擎,用来在一台机器或成千上万台机器的集群上跑数据工程、数据科学和机器学习任务。它把批处理和实时流处理统一到同一套 API 里,写代码时不用为两种场景准备两套工具。

主要功能

Spark 自带几个核心组件:Spark SQL 可以用 ANSI SQL 查结构化表,也能直接读 JSON、图片这类非结构化数据;MLlib 提供机器学习算法,在笔记本上训练好的模型可以原样扩展到集群;Spark Streaming 处理实时数据流;GraphX 做图计算,不过页面上已经标了 deprecated。语言方面支持 Python、SQL、Scala、Java 和 R,装 pyspark 用 pip 一行就能跑起来,官方也提供 Docker 镜像。

适合谁

需要处理单机放不下的数据量、又不想自己从头搭分布式框架的团队。页面提到财富 500 强里有 80% 的公司用 Spark,开源项目有超过 2000 名贡献者,生态里能接上常见的数据科学、BI 和存储工具。做探索性分析时可以直接对 PB 级数据跑,不用先降采样。

费用与限制

项目本身以 Apache License 2.0 发布,下载和使用不收费。它是引擎和库,不是装好就能点的桌面软件,要自己准备运行环境;集群规模上去以后,调优和运维是另外的功夫。GraphX 已标记为弃用,新项目不建议再选它。

常见问题

Apache Spark 收费吗?
Apache Spark 免费使用。Apache License 2.0 开源免费。
用 Apache Spark 要登录吗?
不用登录就能用。
Apache Spark 有哪些平台 / App?
支持 Linux、macOS、Windows。

替代品全部 5 个,带对比表 →

替代品 5打开官网