数据时代,漫谈数据建模
创始人
2024-03-29 18:45:51
0

不管什么样的模型都可以理解为一种预设,比如像一张大宽表,它的维度和指标在大宽表中就是固定的,只是维度列多一些,指标多一些,给了用户更多的一种组合维度和指标的可能,并不是说就没有模型的概念。

在理解了这个概念之后,我们再来讲下什么是商业智能BI的前端建模和后端建模,它们有什么区别和联系。

可视化分析 - 派可数据商业智能BI可视化分析平台

什么是数据模型

数据模型是现实世界或业务逻辑在数据层面的投影,是将数据元素以标准化的模式组织起来,用来模拟现实世界的信息框架和蓝图。

商业智能BI的前端建模

商业智能BI的前端建模可以理解为我们通过BI的前端可视化分析工具来完成数据分析的建模过程。

一种方式是加载一些文本文件比如常用的EXCEL表,可以将文本类型的字段自动转化成分析的维度Dimension,将数值类型的自动转化为被分析的数据就是度量Measure,用户就可以通过BI分析工具自由的拖拉拽完成维度和度量的组合,进行数据的可视化展示或者分析,这种维度和度量的这种组合就构成了一个最简单的分析模型。

商业智能BI的后端建模

那么在数据仓库中建模的方式就叫后端建模,就是在数据仓库中预先把维度表Dimension Table和事实表Fact Table 先处理好存储起来,这些维度表和事实表本身就可以通过维度字段的关联形成星型和雪花型模型。

星型模型 - 派可数据商业智能BI可视化分析平台

雪花型模型 - 派可数据商业智能BI可视化分析平台

在构成维度表和事实表之前,底层的ETL要做大量的数据抽取、转化和加载的工作,这也是整个BI项目建设的核心,开发工作量最大的一部分,差不多要占到项目开发80%左右的时间和精力。

商业智能BI项目架构

所以,一个企业级的、完整的最佳实践的BI项目架构应该是什么样的?就是利用BI数据仓库的建模,即后端建模将大部分的、标准的、高度可复用的分析模型预先设计好沉淀出来,形成标准的维度和事实表存储起来。

可视化分析 - 派可数据商业智能BI可视化分析平台

之后再通过BI前端可视化分析工具来连接到数据仓库数据库,访问这些可以构成各种分析模型的表,进行可视化分析。遇到特别的分析场景,底层数据仓库的后端模型不能够满足分析场景需要的时候,就可以借助商业智能BI可视化工具的前端建模能力来扩展一些分析模型,完成前端建模和可视化分析的工作。

数据模型的作用

方便人与人之间信息的传递和沟通。

方便人们通过数据模型去理解现实世界。

计算机通过算法模型、规则模型,可以预测客观虚拟事物的发展或轨迹。

现实世界的虚拟事物,抽象到信息世界逻辑模型,再转换成计算机世界的数据模型,而计算机能够存储和识别的是物理模型。

可视化分析 - 派可数据商业智能BI可视化分析平台

数据模型的用途

以一种结构化、方便理解特定事实的组织方式呈现给人,比如BI模型、分析模型。

帮助更好的理解业务,比如业务模型、概念模型、领域模型、逻辑模型。

根据对样本数据或人的经验猜想,构建模型,去预测其它同类事物或场景,比如算法模型。

将现实世界的信息转化成数据模型,呈现给计算机,可以用于存储或计算,比如物理数据存储模型

根据数据模型用途的不同,建模方法也大相径庭。所以我们在做数据建模前,一定要先想清楚所建模型的具体用途和场景。

我们所说的数仓建模,实际上就是构建一种数据存储模型,用于结构化存储我们日常业务行为或信息化系统存储下来有价值的数据。

数据仓库 - 派可数据商业智能BI可视化分析平台

数据建模意义

降低的存储成本,同时提高的查询效率

可以清晰明了的数据结构方便理解和使用

简化了ETL的处理逻辑

为数据质量提供保障,包括数据的一致性、准确性、完整性、时效性

可以更灵活的应对变化并且可以满足客户需求

相关内容

热门资讯

中央广电总台副台长王晓真,黑龙... 据央视新闻报道,12月28日,中央广播电视总台《2026年春节联欢晚会》分会场发布。黑龙江哈尔滨、浙...
聚焦全国财政工作会议丨明年财政... (央视财经《经济信息联播》)明年是“十五五”规划的开局之年,财政政策将聚焦哪些关键领域精准发力? ...
原创 中... 12月26日,中国对美国实施了一次重磅反制,针对美国政府前不久批准的111亿美元对台军售,中方决定出...
徐杰11分王少杰遭驱逐 张宁缺... [搜狐体育战报]北京时间12月28日消息,2025-26赛季CBA常规赛继续第7轮角逐。王少杰第三节...
《今日说法》主持人李晓东买茶叶... 12月28日,《今日说法》栏目主持人李晓东发布视频称,此前“被骗1000元买茶叶”事件迎来新进展:该...
3-0领先终于能休息了!莫德里... 在意甲第17轮的一场焦点战中,AC米兰迎战维罗纳。比赛进行到第70分钟时,AC米兰在3-0领先的情况...
原创 数... 星链卫星接连失控坠落背后,美国太空霸权现裂痕?反观中国,悄然布下反超棋局,六战六捷消息一出,美国立马...
“墨色无变化”,故宫出借米芾《... 12月28日,江西省博物馆发布声明回应近日文学爱好者的质疑: 近日,有观众质疑我馆“山谷雅集——黄庭...
原创 彻... 近期,中日关系因为日本首相高市早苗的错误涉台言论,跌到了谷底。然而在多重施压下,高市早苗仍然拒绝撤回...