您现在的位置是:热点 >>正文
数仓模型设计详细讲解
热点510人已围观
简介...
前言
今天给大家分享下数仓中的模型设计,一个好的数仓项目首先看一下它的架构以及他所用到的模型,它们使用的模型也都是非常巧妙的,好了,我们话不说到直接开始。
一、维度建模基本概念
维度模型是数据仓库领域大师Ralph Kima数仓ll所倡导,他的《数据仓库工具箱》,是数据仓库工程领域最流行的数仓建模经典。维度建模以分析决策的需求出发构建模型,构建的数据模型为分析需求服务,因此它重点解决用户如何更快速完成分析需求,同时还有较好的大规模复杂查询的响应模型性能。
维度建模是专门应用于分析型数据库、数据仓库、数据集市建模的方法。数据集市可以理解为是一种小型数据仓库。
1.1 事实表
发生在现实世界中的操作型事件,其所产生的可度量数值,存储在事实表中。从最低的粒度级别来看,事实表设计行对应一个度量事件,反之亦然。
事实表表示对分析主题的度量。比如一次购买行为我们就可以理解为是一个事实。
图中的订单表就是一个事实表,可以理解他就是在现实中发生的一次操作型事件,每完成一个订单,就会在订单中增加一条记录。
事实表的详细特征:表里没有存放实际的内容,他是一堆主键的集合,这些ID分别能对应到维度表中的一条记录。事实表包含了与各维度表相关联的外键,可与维度表关联。事实表的度量通常是数值类型(条/个/次),且记录数会不断增加,表数据规模迅速增长讲解。
1.2 维度表
维度表示要对数据进行分析时所用的一个量,比如你要分析产品销售情况, 你可以选择按类别进行分析,或按区域分析。这样的按..分析就构成一个维度。上图中的用户表、商家表、时间表这些都属于维度表。这些表都有一个唯一的数仓主键,然后在表中存放了详细的数据信息。
例如:交易金额分析分析
男性用户的订单金额、联想商品的订单金额、第一季度的订单金额、手机的订单金额、家里下单的订单金额
例如:学生分析
姓张的同学有多少、男性的同学有多少、江苏的同学有多模型少、身高小于170cm的同学有多少、年龄小于23岁的同学有多少。
每个维度表都包含单一的主键列。维度表的主键可以作为与之关联的任何事实表的外键,当然,维度表行的描述环境应与事实表行完全对应。维度表通常比较宽,是扁平型非规范设计表,包含大量的低粒度的文本属性。
总的说来,在数据仓库中不需要严格遵守规范化设计原则。因为数据仓库的主导功能就是面向分析,以查询为主,不涉及数据更新操作。
事实表的设计是以能够正确记录历史信息为准则。
维度表的设计是以能够详细以合适的角度来聚合主题内容为准则。
二、维度建模三种模式
2.1 星型模型
星形模式(Star Schema)是最常用的维度建模方式。星型模式是以事实表为中心,所有的维度表直接连接在事实表上,像星星一样。
星形模式的维度建模由一个事实表讲解和一组维表成,且具有以下特点:
维表只和事实表关联,维表之间没有关联; 每个维表主键为单列,且该主键放置在事实表中,作为两边连接的外键; 以事实表为核心,维度表围绕核心呈星形分布
2.2 雪花模式
雪花模式(Snowflake Schema数仓)是对星形模式的扩展。雪花模式的维度表可以拥有其他维度表的,虽然这种模型相比星型更规范一些,但是由于这种模型不太容易理解,维护成本比较高,而且性能方面需要关联多层维表,性能也比星型模型要低。所以一般不是很常用。
2模型.3 星座模式
星座模式是星型模式延伸而来,星型模式是基于一张事实表的,而星座模式是基于多张事实表的,而且共享维度信息。
前面介绍的两种维度建模方法都是多维表对应单事实表,但在很多时候维度空间内的事实表不止一个,而一个维表也可设计能被多个事实表用到。在业务发展后期,绝大部分维度建模都采用的是星座模式。
总结
好了本篇文章就分享到这里了,本篇文章主要讲解了维度模型三种模式,在设计数仓的时候尽量将表设计为星星模型和雪花模型这样的话我们在实现功能的时候就详细比较简单,原因是星星模型和雪花模型架构基本上是一对多的。信自己,努力和汗水总会能得到回报的。我是大数据老哥,我们下期见~~~。
Tags:
下一篇:标签: 京东 华为 鲲鹏 云计算
相关文章
快手72B代码模型开源登顶:KAT-Dev横扫SWE-Bench,国产AI编程迎来突破
热点国产AI在代码生成领域再次取得重大突破。快手旗下Kwaipilot团队近日正式开源KAT-Dev-72B-Exp模型,这款拥有720亿参数的实验性大语言模型凭借在软件工程基准测试中的出色表现,登顶开源...
【热点】
阅读更多标签: 腾讯 企鹅岛 企鹅公寓 深圳前海
热点云梦级5月26日云梦级消息,据第一财经报道,位于深圳前海大铲湾片区的腾讯总部基地(又称“企鹅岛”)于 2025 年 10 月起进入试运营阶段,已按照规划建成 30%。试运营至今已有 1.4 万多名腾讯...
【热点】
阅读更多用一个密钥,打开全球AI的能力边界 ——我们正在打造面向未来的“全球AI聚合网关”
热点过去两年,人工智能的浪潮席卷全球,从 ChatGPT 的自然语言革命,到多模态模型可以自动生成图像、视频、音频的时代。 每一个企业、每一位开发者,都在尝试让 AI 成为生产力的一部分。 然而,在实际落...
【热点】
阅读更多
热门文章
最新文章
友情链接
- 标签: 康师傅
- https://www.tumblr.com/tagged/快排霸屏软件【tg:seogoogle987】,Mow
- https://www.nbm.org/?action=QUERY&s=快排霸屏软件【tg:seogoogle987】,Y3h
- https://yscc1986.net/search/快排霸屏软件【tg:seogoogle987】ah8
- https://www.universal-music.co.jp/?ID=1sIcckCTeBS8FjzCshAW9w53s8gr691o&s=快排霸屏软件【tg:seogoogle987】,TUm
- https://www.kelsa.co.uk/catalogsearch/result/index/?T=1686132119291&q=快排霸屏软件【tg:seogoogle987】,SIV
- https://www.safetv.go.kr/base/search/view?searchWord=快排霸屏软件【tg:seogoogle987】Ms4
- https://www.military-history.org/?s=快排霸屏软件【tg:seogoogle987】,WLE
- https://www.abbreviations.com/快排霸屏软件【tg:seogoogle987】rGA
- https://www.rookwinkel.nl/catalogsearch/result/index/?q=快排霸屏软件【tg:seogoogle987】,WVp
- https://www.monroecounty.gov/search/?q=快排霸屏软件【tg:seogoogle987】,NQH
- https://www.qylaws.com/search/快排霸屏软件【tg:seogoogle987】,dt2
- https://www.losgatoschamber.com/list/search?action=SEARCH&q=快排霸屏软件【tg:seogoogle987】,mcb
- https://www.ussalabama.com/?action=CHECK&s=快排霸屏软件【tg:seogoogle987】,JQk
- https://www.sebson.de/en/search?query=快排霸屏软件【tg:seogoogle987】,5Sm
- https://www.ncetm.org.uk/search?action=CHECK&q=快排霸屏软件【tg:seogoogle987】,43F
- https://www.shopping.com/search.html?keyword=快排霸屏软件【tg:seogoogle987】,acV
- https://www.kubb-tool.bfs.admin.ch/en/search?action=CHECK&q=快排霸屏软件【tg:seogoogle987】,t7h
- https://www.quarterjacksurgery.co.uk/?AT=3rBy&s=快排霸屏软件【tg:seogoogle987】,oDn
- https://www.wmfe.org/?s=快排霸屏软件【tg:seogoogle987】,l0C
- https://www.ushmm.org/search/results.php?q=快排霸屏软件【tg:seogoogle987】,8mg
- https://www.msrenewal.com/search/快排霸屏软件【tg:seogoogle987】,cgp
- https://www.maafushidive.com?collections?vendors?q=快排霸屏软件【tg:seogoogle987】,AhK
- https://yscc1986.net/search/快排霸屏软件【tg:seogoogle987】E3v
- https://www.goodreads.com/quotes/tag/快排霸屏软件【tg:seogoogle987】Ew4
- https://www.toy-people.com/?s=快排霸屏软件【tg:seogoogle987】,kAb
- https://www.takachi-enclosure.com/search?eqYB=gnI31Ou&text=快排霸屏软件【tg:seogoogle987】,XJO
- https://www.wellbees.com/index.php/catalogsearch/result/index/?q=快排霸屏软件【tg:seogoogle987】,MF1
- https://www.nytimes.com/search?dropmab=true&query=快排霸屏软件【tg:seogoogle987】,1YH
- https://www.so.com/s?ie=utf-8&src=360sou_home&_re=0&q=快排霸屏软件【tg:seogoogle987】,LYC
- https://www.remit.co.jp/zh/?s=快排霸屏软件【tg:seogoogle987】,Ycj
- https://www.flickr.com/photos/tags/快排霸屏软件【tg:seogoogle987】A81
- https://www.prattlibrary.org/search?q=快排霸屏软件【tg:seogoogle987】,G2P
- https://www.pixiv.net/tags/快排霸屏软件【tg:seogoogle987】,Vg9
- https://www.whiterock2008.com.tw/search?q=快排霸屏软件【tg:seogoogle987】,teY
- https://www.remit.co.jp/vi/?s=快排霸屏软件【tg:seogoogle987】qRZ
- https://www.scq.ubc.ca/?page=2&s=快排霸屏软件【tg:seogoogle987】,ubB
- https://www.yidian51.com/taobao/快排霸屏软件【tg:seogoogle987】,V73
- https://www.parl.ca/legisinfo/fr/projets-de-loi?parlsession=all&view=list&keywords=快排霸屏软件【tg:seogoogle987】,xqa
- https://www.spicebar.de/catalogsearch/result/?q=快排霸屏软件【tg:seogoogle987】,G4n
- https://www.silentiumpc.com/en/search/快排霸屏软件【tg:seogoogle987】,dkS
- https://www.uckfieldtc.gov.uk/?s=快排霸屏软件【tg:seogoogle987】,QD1
- https://www.mynextmove.org/find/search?s=快排霸屏软件【tg:seogoogle987】,9qw
- https://www.revere.org/search?action=SEARCH&q=快排霸屏软件【tg:seogoogle987】,2iH
- https://www.pearson.com/en-us/search.html?aq=快排霸屏软件【tg:seogoogle987】,WM8
- https://www.pmindia.gov.in/en/?s=快排霸屏软件【tg:seogoogle987】,O4p
- https://www.nonsolocap.it/cap?action=SEARCH&k=快排霸屏软件【tg:seogoogle987】,uUR
- https://www.schenckprocess.com/search?q=快排霸屏软件【tg:seogoogle987】,BA0
- https://www.nuovabai.it/catalogsearch/result/?action=SEARCH&q=快排霸屏软件【tg:seogoogle987】,Z5Q
- https://www.ons.gov.uk/search?q=快排霸屏软件【tg:seogoogle987】,9D7
- https://www.uctronics.com/catalogsearch/result/?q=快排霸屏软件【tg:seogoogle987】,V8i