认识达内从这里开始

认真做教育专心促就业

运城达内计算机培训数据仓库和数据湖之间的区别都有哪些

发布：运城达内教育官网
来源：互联网
时间：2023-02-23 09:02

我们在前几期的文章中给大家简单介绍了数据仓库和数据湖的一些基础知识与应用等内容，而本文我们就继续来学习一下，数据仓库和数据湖之间的区别都有哪些。

运城达内计算机培训数据仓库和数据湖之间的区别都有哪些

数据仓库vs数据湖

经过前面对数据仓库和数据湖的比较，我们可以看到，两者在设计上的根本分歧点是对包括存储系统访问、权限管理、建模要求等方面的把控：

数据仓库，更加关注的是数据使用效率、大规模下的数据管理、安全/合规这样的企业级需求;

数据仓库中，数据经过统一但开放的服务接口进入数据仓库，数据通常预先定义schema，用户通过数据服务接口或者计算引擎访问分布式存储系统中的文件;

数据仓库中，通过抽象数据访问接口/权限管理/数据本身，换取了更高的性能(无论是存储还是计算)、闭环的安全体系、数据治理的能力等，这些能力对于企业长远的大数据使用都至关重要;

数据湖，通过开放底层文件存储，给数据入湖带来了大的灵活性：进入数据湖的数据可以是结构化的，也可以是半结构化的，甚至可以是完全非结构化的原始日志。

数据湖，通过开放底层文件存储，给上层的引擎也带来了更多的灵活度：各种引擎可以根据自己针对的场景随意读写数据湖中存储的数据，而只需要遵循相当宽松的兼容性约定;

数据湖，开放底层文件存储允许文件系统直接访问，使得很多更高阶的功能很难实现：例如细粒度(小于文件粒度)的权限管理、统一化的文件管理，ACID事务管理等，读写接口升级也十分困难(需要完成每一个访问文件的引擎升级，才算升级完毕);

由于数据湖的上述特点，数据湖虽然容易落地，但随着湖中数据量的增多，一旦数据治理措施不善，数据湖容易退化为数据沼泽，数据质量低下，用户无法访问数据或不易找到需要的数据，整个数据湖的价值也就退化了;

数据仓库和数据湖，各有自己的优缺点，前者主要支撑BI场景，后者主要支撑AI场景，两者并不是互斥的关系：企业搭建数据平台时，既有BI需求也有AI需求，所以现阶段，很多数据平台是融合了数据仓库和数据湖的：使用数据湖泊作为底座，在数据湖基础上组建多个数据仓库，数据仓库支撑各种BI业务场景，数据湖泊的底座除了支撑各个数据仓库，也可以直接支撑机器学习和深度学习等AI场景;

【免责声明】：本内容转载于网络，转载目的在于传递信息。文章内容为作者个人意见，本平台对文中陈述、观点保持中立，不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。更多内容请加danei456学习了解。欢迎关注“达内在线”参与分销，赚更多好礼。

< 上一篇：运城达内大数据培训数据湖的特点与架构分析

下一篇：运城达内培训Java编程JVM内存管理基础知识分享 >