认识达内从这里开始

我们在搭建一些数据处理服务器的时候，通常都会利用到大数据的框架和运算方式等方法来实现。所以，我们今天就一起来了解和学习一下关于这些不同的大数据框架都有哪些种类。

自从ApacheSpark2009年在U.C.Berkeley的AMPLab默默诞生以来，它已经成为这个世界上最重要的分布式大数据框架之一。Spark可以用多种方式部署，它为Java、Scala、Python，和R编程语言提供了本地绑定，并且支持SQL、流数据、机器学习，和图处理。你将会发现它被银行、电信公司、游戏公司、政府，和所有如Apple、Facebook、IBM，和Microsoft等主要的科技巨头公司使用。

非常好，Spark可以运行在一个只需要在你集群中的每台机器上安装ApacheSpark框架和JVM的独立集群模式。然而，你将更有可能做的是，希望利用资源或集群管理系统来帮你按需分配工作。在企业中，这通常意味着在HadoopYARN(这是Cloudera和Hortonworks分配运行Spark任务的方式)上运行。尽管work是在增加了本地支持的Kubernetes上执行，但是ApacheSpark也可以在ApacheMesos上运行。

如果你追求一个有管理的解决方案，那么可以发现ApacheSpark已作为AmazonEMR、GoogleCloudDataproc,和MicrosoftAzureHDInsight的一部分。雇佣了ApacheSpark创始人的公司Databricks也提供了Databricks统一分析平台，这个平台是一个提供了ApacheSpark集群，流式支持，集成了基于Web的笔记本开发，和在标准的ApacheSpark分布上优化了云的I/O性能的综合管理服务。

Sparkvs.Hadoop

值得一提的是，拿ApacheSpark和ApacheHadoop比是有点不恰当的。目前，在大多数Hadoop发行版中都包含Spark。但是由于以下两大优势，Spark在处理大数据时已经成为首选框架，超越了使Hadoop腾飞的旧MapReduce范式。

第一个优势是速度。Spark的内存内数据引擎意味着在某些情况下，它执行任务的速度比MapReduce快一百倍，特别是与需要将状态写回到磁盘之间的多级作业相比时更是如此。即使ApacheSpark的作业数据不能完全包含在内存中，它往往比MapReduce的速度快10倍左右。

第二个优势是对开发人员友好的SparkAPI。与Spark的加速一样重要的是，人们可能会认为SparkAPI的友好性更为重要。

SparkCore

与MapReduce和其他ApacheHadoop组件相比，ApacheSparkAPI对开发人员非常友好，在简单的方法调用后面隐藏了分布式处理引擎的大部分复杂性。其中一个典型的例子是几乎要50行的MapReduce代码来统计文档中的单词可以缩减到几行ApacheSpark实现

通过提供类似于Python、R等数据分析流行语言的绑定，以及更加对企业友好的Java和Scala，ApacheSpark允许应用程序开发人员和数据科学家以可访问的方式利用其可扩展性和速度。

SparkRDD

ApacheSpark的核心是弹性分布式数据集(ResilientDistributedDataset，RDD)的概念，这是一种编程抽象，表示一个可以在计算集群中分离的不可变对象集合。RDD上的操作也可以跨群集分割，并以批处理并行方式执行，从而实现快速和可扩展的并行处理。

RDD可以通过简单的文本文件、SQL数据库、NoSQL存储(如Cassandra和MongoDB)、AmazonS3存储桶等等创建。SparkCoreAPI的大部分是构建于RDD概念之上，支持传统的映射和缩减功能，还为连接数据集、过滤、采样和聚合提供了内置的支持。

Spark是通过结合驱动程序核心进程以分布式方式运行的，该进程将Spark应用程序分解成任务，并将其分发到完成任务的许多执行程序的进程中。这些执行程序可以根据应用程序的需要进行扩展和缩减。

SparkSQL

SparkSQL最初被称为Shark，SparkSQL对于ApacheSpark项目开始变得越来越重要。它就像现在的开发人员在开发应用程序时常用的接口。SparkSQL专注于结构化数据的处理，借用了R和Python的数据框架(在Pandas中)。不过顾名思义，SparkSQL在查询数据时还兼容了SQL2003的接口，将ApacheSpark的强大功能带给分析师和开发人员。

除了支持标准的SQL外，SparkSQL还提供了一个标准接口来读写其他数据存储，包括JSON，HDFS，ApacheHive，JDBC，ApacheParquet，所有这些都是可以直接使用的。像其他流行的存储工具——ApacheCassandra、MongoDB、ApacheHBase和一些其他的能够从SparkPackages生态系统中提取出来单独使用的连接器。

SparkMLib

ApacheSpark还有一个捆绑许多在大数据集上做数据分析和机器学习的算法的库(SparkMLib)。SparkMLlib包含一个框架用来创建机器学习管道和在任何结构化数据集上进行特征提取、选择、变换。MLLib提供了聚类和分类算法的分布式实现，如k均值聚类和随机森林等可以在自定义管道间自由转换的算法。数据科学家可以在ApacheSpark中使用R或Python训练模型，然后使用MLLib存储模型，最后在生产中将模型导入到基于Java或者Scala语言的管道中。

需要注意的是SparkMLLib只包含了基本的分类、回归、聚类和过滤机器学习算法，并不包含深度学建模和训练的工具(更多内容InfoWorld'sSparkMLlibreview)。提供深度学习管道的工作正在进行中。

SparkGraphX

SparkGraphX提供了一系列用于处理图形结构的分布式算法，包括Google的PageRank实现。这些算法使用SparkCore的RDD方法来建模数据;GraphFrames包允许您对数据框执行图形操作，包括利用Catalyst优化器进行图形查询。

SparkStreaming

SparkStreaming是ApacheSpark的一个新增功能，它帮助在需要实时或接近实时处理的环境中获得牵引力。以前，ApacheHadoop世界中的批处理和流处理是不同的东西。您可以为您的批处理需求编写MapReduce代码，并使用ApacheStorm等实时流媒体要求。这显然导致不同的代码库需要保持同步的应用程序域，尽管是基于完全不同的框架，需要不同的资源，并涉及不同的操作问题，以及运行它们。

SparkStreaming将ApacheSpark的批处理概念扩展为流，将流分解为连续的一系列微格式，然后使用ApacheSparkAPI进行操作。通过这种方式，批处理和流操作中的代码可以共享(大部分)相同的代码，运行在同一个框架上，从而减少开发人员和操作员的开销。每个人都能获益。

对SparkStreaming方法的一个批评是，在需要对传入数据进行低延迟响应的情况下，批量微操作可能无法与ApacheStorm，ApacheFlink和ApacheApex等其他支持流的框架的性能相匹配，所有这些都使用纯粹的流媒体方法而不是批量微操作。

StructuredStreaming

StructuredStreaming(在Spark2.x中新增的特性)是针对SparkStreaming的，就跟SparkSQL之于Spark核心API一样：这是一个更高级别的API，更易于编写应用程序。在使用StructureStreaming的情况下，更高级别的API本质上允许开发人员创建无限流式数据帧和数据集。它还解决了用户在早期的框架中遇到的一些非常真实的痛点，尤其是在处理事件时间聚合和延迟传递消息方面。对StructuredStreaming的所有查询都通过Catalyst查询优化器，甚至可以以交互方式运行，允许用户对实时流数据执行SQL查询。

StructuredStreaming在ApacheSpark中仍然是一个相当新的部分，已经在Spark2.2发行版中被标记为产品就绪状态。但是，StructureStreaming是平台上流式传输应用程序的未来，因此如果你要构建新的流式传输应用程序，则应该使用StructureStreaming。传统的SparkStreamingAPI将继续得到支持，但项目组建议将其移植到StructureStreaming上，因为新方法使得编写和维护流式代码更加容易。

ApacheSpark的下一步是什么?

尽管结构化数据流为SparkStreaming提供了高级改进，但它目前依赖于处理数据流的相同微量批处理方案。然而，ApacheSpark团队正在努力为平台带来连续的流媒体处理，这应该能够解决许多处理低延迟响应的问题(声称大约1ms，这将会非常令人印象深刻)。更好的是，因为结构化流媒体是建立在SparkSQL引擎之上的，所以利用这种新的流媒体技术将不需要更改代码。

除此之外，ApacheSpark还将通过DeepLearningPipelines增加对深度学习的支持。使用MLlib的现有管线结构，您将能够在几行代码中构建分类器，并将自定义Tensorflow图形或Keras模型应用于传入数据。这些图表和模型甚至可以注册为自定义的SparkSQLUDF(用户定义的函数)，以便深度学习模型可以作为SQL语句的一部分应用于数据。

这些功能目前都无法满足生产的需求，但鉴于我们之前在ApacheSpark中看到的快速发展，他们应该会在2018年的黄金时段做好准备。

译者：Tocy,亚林瓜子,soaring,我是菜鸟我骄傲,无若,南宫冰郁

来源：开源翻译

【免责声明】：本内容转载于网络，转载目的在于传递最新信息。文章内容为作者个人意见，本平台对文中陈述、观点保持中立，不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。