课程咨询: 400-996-5531 / 投诉建议: 400-111-8989
认真做教育 专心促就业
数据仓库是数据库技术在发展到一定程度之后才出现的,而今天我们就通过案例分析来了解一下,数据仓库系统的组成结构与层次应用等内容。
整体来看,数据仓库系统对业务数据和 server 日志等原始数据进行汇聚,数据分析处理后,提供给前端应用系统进行使用,包括 BI ( Business Intelligence )、搜索、推荐等各类应用场景。
在数据仓库系统内部,需要对数据进行分层,主要有如下好处:
防止烟囱式开发,减少重复开发,开发通用中间层数据,减少重复计算;
将复杂问题简单化,将复杂任务的多个步骤分解到各个层次中,每一层只处理较少的步骤,使单个任务更容易理解;
可进行数据血缘追踪,便于快速定位问题;
整个数据层次清晰,每个层次的数据都有职责定位,便于使用和理解。
数据仓库主要分为 STG、ODS、DWD、DWS、ADS 和 DIM 共 6 个层次,数据从底层开始,向上层进行传递、转换、重组等操作,可以理解为,根据数据分析业务的需要,对原有的 OLAP 多维数据,进行维度和指标的重新组合。层次的具体描述如下:
STG 原始数据层: 用来表示原始数据在数据仓库的落地,数据结构和原始系统发送上来的保持一致。
ODS 数据操作层: 用于原始数据在数据平台的落地。数据从数据结构、数据之间的逻辑关系上都与原始数据层基本保持一致。在源数据装入这一层时,要进行诸如业务字段提取或去掉不用字段、脏数据处理等等。
DWD 数据明细层: 用于源系统数据在数据平台中的永久存储。它用以支撑 DWS 层和 ADS 层无法覆盖的需求,比如像用户购买详单类业务需求。这一层主要解决一些数据质量问题和数据的完整度问题。
DWS 数据服务层: 数据汇总层,该层会在 DWD 层的数据基础上。对数据做轻度的聚合操作,生成一系列的中间表,提升公共指标的复用性,减少重复加工。按照业务划分,如流量、产品、用户等,生成字段比较多的宽表,用于提供后续的业务查询,OLAP 分析,数据分发等。
ADS 应用数据层: 该层存放数据产品个性化的统计指标数据,一般以某个业务应用为出发点进行建设, ADS 层只关心自己需要的数据,不会全盘考虑企业整体的数据架构和应用。面向实际的业务数据需求,以 DWD 或者 DWS 层的数据为基础,组成各种统计报表。
DIM 维度层: 主要存储公共的属性数据,比如产品类别、地理位置、时间详情等信息。综上所述,数据仓库建设的主要工作,就是对原始业务数据进行汇聚,进行分层次的数据处理,生成业务需要的数据,提供给前端业务使用。
【免责声明】:本内容转载于网络,转载目的在于传递信息。文章内容为作者个人意见,本平台对文中陈述、观点保持中立,不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。更多内容请在707945861群中学习了解。