认识达内从这里开始

数据湖和数据仓库都是我们在学习大数据技术的时候会接触到的一些技术知识点，而今天我们就通过案例分析来了解一下，数据湖与数据仓库的区别和发展趋势。

1、数据湖的定义

数据湖(DataLake)是一个以原始格式存储数据的存储库或系统，它按原样存储数据，而无需事先对数据进行结构化处理。一个数据湖可以存储结构化数据(如关系型数据库中的表)，半结构化数据(如CSV、日志、XML、JSON)，非结构化数据(如电子邮件、文档、PDF)和二进制数据(如图形、音频、视频)。

2、数据湖与数据仓库的区别

在数据处理和存储能力方面，数据湖可以处理结构化、半结构化、非结构化的所有数据结构的数据，而数据仓库只能处理结构化数据。

数据仓库在处理数据之前要先进行数据梳理、定义数据结构、进行数据清洗才进行入库操作，而数据湖是不管“三七二十一”连上数据源就能将原始数据“一锅端过来”，这就为后续数据湖的机器学习、数据挖掘带来了无限可能!

在数据质量和安全方面，数据仓库作用范围有限，它只能用于收集、处理和分析特定业务问题所必需的数据，而数据湖却能对任何数据，甚至无法监管的原始数据实施数据治理，以提升数据质量和安全性。

在灵活性上数据湖具备天然优势。传统的数仓，因为模型范式的要求，业务不能随便的变迁，这涉及到底层数据的各种变化，这导致了传统数仓无法支持业务的变化。对于数据湖来说，即使像互联网行业不断有新的应用，业务不断发生变化，数据模型也不断的变化，但数据依然可以非常容易的进入数据湖，对于数据的采集、清洗、规范化的处理，完全可以延迟到业务需求的时候再来处理。这跟早期的数仓思维就很不一样，数据湖相对于企业来说，灵活性比较强，能更快速的适应前端应用的变化。

3、数据湖发展趋势

传统信息系统是由流程驱动的，企业的所有业务都是围绕着流程而进行的，这个阶段数据并没有引起人们的重视。到了数据仓库阶段，企业对数据的应用也仅是处于辅助层面，企业的管理决策、业务创新主要还是靠人的经验，数据只是一个参考。但随着数字化时代的来临，大数据技术不断的深入应用，人们发现大数据的问题发现能力、预测能力要远远超过人们的经验。越来越多的企业选择基于数据进行企业的经营决策，基于数据提升组织绩效，基于数据做产品的创新。企业正在从“流程驱动”的信息化时代，走向“数据驱动”的数字化时代。

“数据湖”是应时代而生的一个产物，它的价值不仅在于可以将海量的、不同类型的数据进行统一存储，并提供数据目录和查询服务。数字化的时代，数据更加大量、更加实时、更加面向未来，机器学习、人工智能成为一个企业数字化转型的关键性因素。数据湖支持海量的、实时的数据处理和分析，甚至这种数据处理与分析都不需要预定义数据模型，增强了数据的洞察能力，它使得这些海量数据的价值就更加比以前有所提高，帮助人们在局部的数据里面找到更多的规律。可以说“数据湖”简直是为“机器学习”而生。

【免责声明】本文系本网编辑部分转载，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与管理员联系，我们会予以更改或删除相关文章，以保证您的权益!更多内容请在707945861群中学习了解。