认识达内从这里开始

认真做教育专心促就业

运城达内IT培训大数据数据湖技术应用与特点分析

发布：运城达内教育官网
来源：互联网
时间：2022-08-10 08:36

大数据与云计算等互联网新兴技术随着互联网的不断发展而被众多企业引入并应用，而本文我们就通过案例分析来简单了解一下，大数据数据湖技术应用与特点分析。

运城达内IT培训大数据数据湖技术应用与特点分析

一、什么是数据湖

数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析对数据进行加工，例如：大数据处理、实时分析、机器学习，以指导做出更好地决策。

二、大数据为什么需要数据湖

随着实时计算引擎的不断发展以及业务对于实时报表的产出需求不断膨胀，业界近几年就一直聚焦并探索于实时数仓建设。

正是由于两条链路处理数据导致数据不一致等一些列问题所以才有了Kappa架构，Kappa架构可以称为真正的实时数仓，目前在业界常用实现就是Flink+Kafka，然而基于Kafka+Flink的实时数仓方案也有几个非常明显的缺陷，所以在目前很多企业中实时数仓构建中经常使用混合架构，没有实现所有业务都采用Kappa架构中实时处理实现。

Kappa架构缺陷如下：

Kafka无法支持海量数据存储。对于海量数据量的业务线来说，Kafka一般只能存储非常短时间的数据。

Kafka无法支持高效的OLAP查询，大多数业务都希望能在DWD\DWS层支持即席查询的，但是Kafka无法非常友好地支持这样的需求。

无法复用目前已经非常成熟的基于离线数仓的数据血缘、数据质量管理体系。需要重新实现一套数据血缘、数据质量管理体系。

三、数据湖与数据仓库的区别

数据仓库与数据湖主要的区别在于如下两点：

存储数据类型

数据仓库是存储数据，进行建模，存储的是结构化数据;数据湖以其本源格式保存大量原始数据，包括结构化的、半结构化的和非结构化的数据，主要是由原始的、混乱的、非结构化的数据组成。在需要数据之前，没有定义数据结构和需求。

数据处理模式

在我们可以加载到数据仓库中的数据，我们先需要定义好它，这叫做写时模式(Schema-On-Write)。而对于数据湖，您只需加载原始数据，然后，当您准备使用数据时，就给它一个定义，这叫做读时模式(Schema-On-Read)。这是两种截然不同的数据处理方法。因为数据湖是在数据使用时再定义模型结构，因此提高了数据模型定义的灵活性，可满足更多不同上层业务的高效率分析诉求。

【免责声明】：本内容转载于网络，转载目的在于传递信息。文章内容为作者个人意见，本平台对文中陈述、观点保持中立，不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。更多内容请加danei0707学习了解。欢迎关注“达内在线”参与分销，赚更多好礼。

< 上一篇：运城达内UI设计培训交互设计分析包含哪些内容

下一篇：运城达内培训大数据数据中台建设步骤都有哪些 >