企业营销型网站建设,荆门做网站公司,中国贸易网怎么样,做家教网站代理一、什么是数据仓库数据库 -- OLTP#xff1a;#xff08;on-line transaction processing#xff09;翻译为联机事务处理记录某类业务事件的发生#xff0c;如购买行为#xff0c;银行交易行为#xff0c;当行为产生后#xff0c;系统会记录是谁在何时何地做了何事…一、什么是数据仓库数据库 -- OLTPon-line transaction processing翻译为联机事务处理记录某类业务事件的发生如购买行为银行交易行为当行为产生后系统会记录是谁在何时何地做了何事这样的一行或多行数据会以增删改的方式在数据库中进行数据的更新处理操作要求实时性高、稳定性强、确保数据及时更新成功像公司常见的业务系统如ERPCRMOA等系统都属于OLTP数据仓库 -- OLAPOn-Line Analytical Processing翻译为联机分析处理当数据积累到一定的程度我们需要对过去发生的事情做一个总结分析时就需要把过去一段时间内产生的数据拿出来进行统计分析从中获取我们想要的信息为公司做决策提供支持这时候就是在做OLAP了OLAP支持复杂的分析操作侧重决策支持并且提供直观易懂的查询结果数据仓库Data Warehouse是一个面向主题的Subject Oriented、集成的Integrated、相对稳定的Non-Volatile、反映历史变化Time Variant的数据集合用于支持管理决策(Decision Making Support)。数据仓库是为企业所有决策制定过程提供所有系统数据支持的战略集合。通过对数据仓库中数据的分析可以帮助企业改进业务流程、控制成本、提高产品质量等。数仓并不是数据的最终目的地而是为主句最终的目的地做好准备。包括清洗转义分类充足合并拆分统计等。面向主题操作型数据库的数据组织面向事务处理任务各个业务系统之间各自分离而数据仓库中的数据是按照一定的主题域——用户使用数据仓库进行决策时所关心的重点方面一个主题通常与多个操作型信息系统相关集成的面向事务处理的操作型数据库通常与某些特定的应用相关数据库之间相互独立并且往往是异构的。而数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的必须消除源数据中的不一致性以保证数据仓库内的信息是关于整个企业的一致的全局信息。相对稳定的操作型数据库中的数据通常实时更新数据根据需要及时发生变化。数据仓库的数据主要供查询数据进入数据仓库以后一般将被长期保留也就是数据仓库中一般有大量的查询操作但修改和删除操作很少通常只需要定期的加载、刷新。反映历史变化操作型数据库主要关心当前某一个时间段内的数据而数据仓库中的数据通常包含历史信息系统记录了企业从过去某一时点如开始应用数据仓库的时点到目前的各个阶段的信息通过这些信息可以对企业的发展历程和未来趋势做出定量分析和预测。二、数据仓库架构其实数据仓库很早之前就有了很多传统的数仓技术例如基于Teradata的数据仓库只不过在大数据背景下我们开始抛弃传统构建数仓的技术转而选择了更能满足当前时代需求的大数据技术当然大数据技术并没有完整的、彻底的取代传统的技术实现我们依然可以在很多地方看见它们的身影数仓问题随着数据量暴增、数据源多样化、服务对象变化传统经典数仓的不足凸显传统数据分析更注重对高密度、高价值的结构化数据的业务数据分析对非结构化、半结构化数据的处理如图像、文本、音频的存储和分析非常薄弱。由于传统数据仓库采用结构化存储当数据从其他系统导入数据仓库时我们通常会引入ETL过程。ETL与具体的业务有很强的的绑定性通常需要一个专门的人或者团队与业务部门进行连接并决定如何进行数据清洗、转换及加载。随着异构数据源的增加如视频、文本、图片要分析数据内容并进入数据仓库就需要非常复杂的ETL导致ETL过于庞大且臃肿数据库范式等约束规则重点解决数据冗余问题以确保数据的一致性。原则上数据仓库原始数据是只读的所以这些约束条件将成为影响性能的因素。数据量过大时性能称为瓶颈。离线数仓Hadoop生态的出现从几个维度解决了传统数仓在数据分析中遇到的瓶颈分布式计算。多节点并行计算强调数据的局部性并尽量减少节点间的数据传输。分布式存储。将一份大文件分成若干份没分独立放在一个节点上。涉及到文件拷贝、碎片化、管理等操作。检索与存储结合。早期大数据系统中存储和计算比较单一。大数据框架下的存储不仅存储数据内容自身还增加了很多元数据。存算分离。数据库系统出于性能的考虑主要采用“计算和存储紧耦合”的架构。而在分析大量级的数据时往往结果间会相互影响在这种情况下单个计算引擎无法完全控制数据布局和文件系统。因此需要存算分离。离线数仓缺点分布式存储强调数据的只读性如HDFS的存储方式不支持更新、写操作不支持并行等。在应用上有一定局限性。存储的耦合副本机制造成了扩展和容灾发生时的成本压力和运维压力。尚缺乏完整的cube工具。虽然目前有部分开源或者商业化的产品担任存在局限性。如cube缺乏灵活性和稳定性对于业务支持的灵活性不足。对于报表数量多或复杂的场景就需要过多的人工定制。离线处理为主缺乏实时性。Lambda架构在离线大数据架构基础上增加一个加速层增加一条实时计算链路并对数据源进行流失改造实时计算订阅消息完成计算推送到下游使用流处理技术直接完成那些实时性要求高的指标计算然后和离线计算整合从而给用户一个完整的实时计算结果。Lambda架构存在的问题同样的需求要开发两套一样的代码开发成本、维护成本极高。同样资源计算两次资源占用多。实时链路和离线链路计算结果容易让人误解昨天和今天看到的数据不一致。下游需整合实时和离线处理结果。kappa架构:使用不可改变的数据流作为主要的记录源而不使用数据库或文件的时间点来表示。Kappa架构将数据作为事件写入到持久化的流中对代码的修改只需要重放过去的事件即可。kappa架构解决了lambda架构中较冗余的部分支持数据重放架构简洁。但实现较为困难。混合架构在实际应用上并不是完全规范的lambda或kappa架构可以将两者混合大部分实时指标采用kappa架构完成计算少量关键指标金额等使用lambda架构用批处理重新计算增加一次校对过程。数仓整体架构三、数仓建模数仓分层清晰数据结构、数据血缘追踪、减少重复开发、把复杂问题简单化、屏蔽原始数据的异常ODS层保持数据原貌不做任何修改起到备份数据的作用。数据采用压缩减少磁盘存储空间创建分区表防止后续的全表扫描DWD层DWD层需构建维度模型一般采用星型模型呈现的状态一般为星座模型。DWS层DWS层统计各个主题对象的当天行为构建主题对象的全量宽表。DWS层的宽表字段是站在不同维度的视角去看事实表重点关注事实表的度量值通过与之关联的事实表获得不同的事实表的度量值。ADS层分别对如设备主题、会员主题、商品主题和营销主题进行指标分析其中营销主题是用户主题和商品主题的跨主题分析案例维度建模维度建模一般步骤选择业务过程→声明粒度→确认维度→确认事实1选择业务过程在业务系统中如果业务表过多挑选我们感兴趣的业务线比如下单业务支付业务退款业务物流业务一条业务线对应一张事实表。2声明粒度数据粒度指数据仓库的数据中保存数据的细化程度或综合程度的级别。声明粒度意味着精确定义事实表中的一行数据表示什么应该尽可能选择最小粒度以此来应各种各样的需求。3确定维度维度的主要作用是描述业务是事实主要表示的是“谁何处何时”等信息。例如时间维度、用户维度、地区维度等常见维度。4确定事实此处的“事实”一词指的是业务中的度量值例如订单金额、下单次数等。在DWD层以业务过程为建模驱动基于每个具体业务过程的特点构建最细粒度的明细层事实表。事实表可做适当的宽表化处理。
