Azure SQL 数据库仓库Data Warehouse入门,azure 数据仓库-ESG跨境

Azure SQL 数据库仓库Data Warehouse入门,azure 数据仓库

azure数据库仓库数据仓库入门

1。什么是SQL数据库仓库(SQL DW)

DW是云中的企业级数据仓库，用于处理TB级甚至PB级关系数据库的OLAP(联机分析处理)场景，主要用于数据分析和查询。

2。什么是OLAP

OLAP(联机分析处理)。表示用于聚合数据的多维数据集的多维结构。

3。OLAP和OLTP的区别

OLTP(在线事务处理)，在线事务处理。表示高事务性系统，具有高频率的插入、读取和删除操作。

OLAP和OLTP的使用场景是不同的。

4。不适合SQL数据仓库的场景

SQL DW不适合OLTP场景和数据库的高频率插入/更新/删除。

(1)OLTP工作负载

(2)大量的小阅读和写作

(3)多租户数据库

(4)经常更换架构。

(5)逐行处理

(6)JSON、XML数据以及空间、结构、数组和地图数据类型

(7)Power BI直接查询需要仪表板性能。

(8)查询的高并发性(例如，几十万个并发查询)

(9)小数据集(小于250GB)

(10)通过严格的RPO和RTO进行灾难恢复

5。适合SQL数据仓库的场景

SQL OLAP(在线分析处理)场景，如报表、统计、分析等场景。

6。SQL数据仓库的设计模式

(1)批量导入数据

(2)将表数据拆分为事实表和维度表。

(3)涉及多个表链接的复杂查询。

(4)某些维度的聚集查询。

7。什么是事实表和维度表

(1)事实表是用于存储真实数据的表，包含数字信息。如订单数据表、销售数据表等。事实表中的数据量通常非常大。

(2)维度表用于描述用户分析数据的角度。它是一般事实表的外键表，如年月日、洲国家省。

一般来说，事实表是需要注意的内容，维度表是统计的角度。

8。SQL DW的使用场景

(1)在过去1个月内，有多少客户订购了该产品，库存水平是否足够。

(2)一周内，客户哪一天从ATM机取款最多？

(3)统计过去30天的日销售额。

9。Azure SQL DW采用大规模并行处理(MPP)架构。

Azure SQL DW作为微软云Azure的一项服务，由微软负责维护，确保SQL DW始终运行在Azure最新的软硬件上。

客户可以轻松地将数据加载到SQL DW中并进行查询。在业务高峰期，他们可以横向扩展计算节点。

10。什么是大规模并行处理的MPP架构

MPP架构的角色分为头节点和工作节点。

头节点存储的是数据表的源数据(元数据)，也就是说数据库的哪些数据是头节点知道的，存储在哪些工作节点。

用户数据表分布在不同的工作节点。

当用户查询SQL DW时，Head Node会将查询语句分解成许多子查询，根据需要移动数据，并将这些子查询发国际快递Work Node并行执行。

例如，假设一个班有60名学生。当老师需要批改作业时，有两种方法:

(1)老师自己批改全部60个学生的试卷，速度会很慢。

(2)老师把学生分成6组，每组10人。然后全班的试卷平均分配给这六组。每组分别批改试卷。这样批改作业就并行了。

显然，第二种方法的效率最高。

MPP架构除了微软的SQL DW，还包括Hadoop(Hive和Spark)、Teradata、Amazon Redshift、Vertica等产品。

十一。SMP架构

与MPP相对的架构是SMP(对称多处理)，类似于传统的单一数据库。的所有业务逻辑都由一台服务器处理。

比如传统的SQL Server，MySQL都属于SMP架构。

12.MPP架构和SMP架构，如何支持更多的业务需求？

(1)在MPP架构中，计算节点是水平扩展的。比如从6个节点并行处理，横向扩展到20个节点。这种方法也称为横向扩展。

(2)在SMP体系结构中，计算节点和那些向上和向下扩展的节点。例如，从8核/16gb服务器到32核/512 GB服务器。这种方法也称为放大。

特别声明：以上文章内容仅代表作者本人观点，不代表ESG跨境电商观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与ESG跨境电商联系。