数据侠客江湖流 ⎮ 来自“MPP 大侠”Vertica 的演讲

‣ 前方导读

/ 开场白 /

/ 天下数据分析流派 /

Vertica 的演讲

01 数据集中式流派

▶︎ 说完，Vertica 指着 Oracle Rac：它也是数据集中式门派中的一员。Oracle Rac 红着脸坐立不安，观众响起热烈的掌声。Vertica 润了润喉咙，继续道：

02 预处理流派

03 数据集中式流派

▶︎ 人群中一阵骚动，那些使用 Hadoop 遭遇数据倾斜的人都交头接耳讨论，的确，MPP 引擎很少发生 Shuffle 情况。

Greenplum

• master 是 Greenplum 的主节点，是集群的入口，主要负责接收客户端连接请求，对 SQL 语句生成查询计划，计划分解成任务均匀分给每个计算节点。

• segment 是 Greenplum 的执行节点，每个 segment 可以视为一个独立的 Postgre SQL 数据库。

• interconnect 是 Greenplum 的网络节点，负责汇聚合并数据，主要解决查询执行中 segment 实例之间或者 segment 和 master。

• Greenplum 的亮点创新：一般而言，Greenplum 集群有 master 和 segment 就足够了，但是 Greenplum 额外开了 interconnect，通过 interconnect 减轻了 master 压力，并减低内部网络转输性能开销，而且它继承 Postgre SQL，所以有效获得 PostgreSQL 原始社会生态，让开发者能轻松使用上手。

• 也是因为继承 PostgreSQL，Greenplum 使用还是传统关系数据库的 B 树索引结构，这里汲及性能理论上限到磁盘传输速度和网络传输速度的技术问题，这也是为什么会研发 HAWQ。我们再简单聊一下磁盘传输速度和网络传输速度的技术理论问题 ，每一次分布式任务运行都会产生磁盘查找和网络传输数据的动作。而 PostgreSQL 是一个基于 B 树页存储的数据，基本页单元是 8 KB，如果任务汲及大量的数据查找，系统内部会有大量的硬盘数据查找动作。为了充分发挥硬盘的性能，我们会把存储基本单元调大一点，让它可以勉强跟上网络的速度性能，否则分布式任务都会发生更多的数据查找，影响全局性能。HDFS 不擅长小数据的处理，它的基本数据单元都是 64 M 以上，Hadoop1 的 block 设置默认是 64 MB，后来 Hadoop2 的 block 设置默认是 128 MB，目标是磁盘运转速度跟上网络传输速度。

Hawq

Impala

Presto

Clickhouse

• MergeTree 是一个强大单机存储引擎表，派生了 ReplaceingMergeTree、SummingMergeTree、AggregatingMergeTree、CollapsingMergeTree、VersionedCollapsingMergeTree、GraphiteMergeTree 六个引擎表。

• 六个引擎表与 MergeTree 的关系，就像数据间中间件与数据库的关系，中间件赋予数据去重、数据排序、数据聚合等特性。MergeTree 的 MPP 特性本质就是多个 MergeTree 通过中间件分发路由组成的。

• MergeTree 的性能很强，列式存储、数据压缩、向量化执行引擎是标配，存储机制采用时间范围分段的合并方式，能够达到很高的压缩比。

关于我 - Vertica！

举例说，一个表数据里面有 A、B、C、D、E 一共 5 个列字段，该表会针对不同的列名会冗余存储多个物理视图，每一个物理视图是一个数据映射，Vertica 称其为 Projection。

数据映射里面，针对业务规则对相关字段打索引和构建分区，如图表所示，表数据有三个数据映射，一个数据映射以 A、B 做主键索引，一个数据映射以 A、E 做主键索引，一个数据映射以 B、D 做主键索引。

Vertica 维护不同排序有重叠的映射，尽量使得每个查询只来自于一个映射，为提高查询性能，表查询需要的列至少在一个映射中。用户发起3个 SQL 请求，每个请求挟带不同的过滤条件，因为数据映射，Vertica 将自动选择用于该查询的，都能击中数据库索引，不会造成回表追溯查找或者全盘扫描。

举一个两表关联查询的例子，table1 表有 5 个字段，table2 有 3 个字段 ，两表关联过滤查询返回结果。一般的数据库根据过滤条件遍列所有的列，包括A 列、B 列、D 列、E 列、F 列，选择 B 列、D 列、F 列返回。而 Vertica 是访问指定的数据映射 Project2，Project2 只包括 B 列、D 列、F 列，耗时 I O 远比全盘扫描快。

   (      B ENCODING RLE,      D,      F       // Column List and Encodings
) ASSELECT   t1.B,         t1.D,   t2.FFROM table1 t1INNER JOIN table2 t2 on t1.C = t2.CORDER BY t1.C

MPP 流派的运功法门

Impala 和 Vertica 的集群架构都是去中心化，每一个节点都是平等的。当外面发出请求，会有一个节点上升成为协调主节点，根据你的准备好的资源，如果该节点宕掉，根据内部算法选举出新的协调节点，此举相对中心架构的 master/slave 模式无疑充分利用了集群性能。

Impala 背靠 Hadoop 大树好乘凉，开发了属于自己的独立的存储引擎机制。而 Presto 采用全量数据加入内存，即使表数据没有实现索引分区，它依然运行很快，但是大于内存的数据量业务场景，它束手无策，实验室测试环境同样的硬件配置表明，当数据量大于内存总和的条件下，Spark 能比 Presto 处理更多的数据。Clickhouse 追求技术，基于硬盘的 DBMS 在空间、压缩、CPU 指令、合并都用上优的算法，但是它的权衡却忽略了用户关联多表的基本需求，笛卡尔乘积是数据库连接操作普通的存在。

Greeplum 和 Hawq 同属一家公司，它们的市场定位方向开始向 OLTP 发展，在 OLAP 领域方面，他们存在共同的痛点，随着数据量不断滚大，数据处理能力下降，需要水平扩展机器提高处理性能，预处理派流派的 Druid 的研发公司 Metamarket，就是因为 Greeplum 无法满足业务需求而研发了 Druid。

助力 Denodo

数据虚拟化建设

• 数据暂存区支持的数据存储空间能够支持数据源。

• 支持分布式部署使用

• 支持分布式扩展

• 支持高可用，意外集群意外宕机能够继续使用。

• 随着数据增长，能够不增加节点的方式提高算力

• 支持自动自助查询和即席查询。

• 支持数据分析有关的所有函数和SQL操作

• 数据管理系统本身能与自治数据源有统一共识的接口。

• 可靠性、稳定性、轻捷的使用性

助力 SmartBI

Clustering Data Using k-meansThis k-means example uses two small data sets named agar_dish_1 and agar_dish_2. Using the numeric data in the agar_dish_1 data set, you can cluster the data into k clusters. Then, using the created k-means model, you can run APPLY_KMEANS on agar_dish_2 and assign them to the clusters created in your original model.
Before you begin the example, make sure that you have loaded the Machine Learning sample data.
1.Clustering Training Data into k ClustersUsing the KMEANS function, run k-means on the agar_dish_1 table.
=> SELECT KMEANS('agar_dish_kmeans', 'agar_dish_1', '*', 5                  USING PARAMETERS exclude_columns ='id', max_iterations=20, output_view=agar_1_view,                   key_columns='id');           KMEANS--------------------------- Finished in 7 iterations
(1 row)The example creates a model named agar_dish_kmeans and a view containing the results of the model named agar_1_view. You might get different results when you run the clustering algorithm. This is because KMEANS randomly picks initial centers by default.
2.View the output of agar_1_view.
=> SELECT * FROM agar_1_view; id  | cluster_id-----+------------   2 |          4   5 |          4   7 |          4   9 |          4  13 |          4...(375 rows)3.Because you specified the number of clusters as 5, verify that the function created five clusters. Count the number of data points within each cluster.
=> SELECT cluster_id, COUNT(cluster_id) as Total_count   FROM agar_1_view   GROUP BY cluster_id; cluster_id | Total_count------------+-------------           |          76          2 |          80          1 |          74          3 |          73          4 |          72(5 rows)From the output, you can see that five clusters were created: , 1, 2, 3, and 4.
You have now successfully clustered the data from agar_dish_1.csv into five distinct clusters.
Summarizing Your ModelYou can also view a summary of the model you created using the SUMMARIZE_MODEL function. This summary tells you how many cluster centers your model contains, along with other metrics.
=> SELECT SUMMARIZE_MODEL('agar_dish_kmeans');-[ RECORD 1 ]---+-------------------------------------------------------------------------------------------------SUMMARIZE_MODEL | k-Means Model Summary:
 Number of clusters: 5 Input columns: x, y Cluster centers:     : {x: -7.4811859, y: -7.5257672}     1: {x: -3.5061558, y: -3.5570295}     2: {x: -5.5205715, y: -5.4919726}     3: {x: -1.5623823, y: -1.5056116}     4: {x:  0.4970753, y:  0.5111612} Evaluation metrics:     Total Sum of Squares: 6008.4619     Within-Cluster Sum of Squares:         Cluster : 12.389038         Cluster 1: 11.210146         Cluster 2: 12.994356         Cluster 3: 12.639238         Cluster 4: 12.083548     Total Within-Cluster Sum of Squares: 61.316326     Between-Cluster Sum of Squares: 5947.1456     Between-Cluster SS / Total SS: 98.98% Number of iterations performed: 6 Converged: True Call:kmeans(model_name=agar_dish_kmeans, input_table=agar_dish_training, input_columns=*, num_clusters=5,exclude_columns=id, max_iterations=20, epsilon=0.0001, init_method=random, initial_centers_table=,distance_method=euclidean, outputView=agar_training_view, key_columns=id)Clustering Data Using a k-means ModelUsing agar_dish_kmeans, the k-means model you just created, you can classify the agar_dish_2 data set.
Create a table named kmeans_results, using the agar_dish_2 table as your input table and the agar_dish_kmeans model for your initial cluster centers.
Add only the relevant feature columns to the arguments in the APPLY_KMEANS function.
=> CREATE TABLE kmeans_results AS        (SELECT id,                APPLY_KMEANS(x, y                             USING PARAMETERS                                               model_name='agar_dish_kmeans') AS cluster_id         FROM agar_dish_2);The kmeans_results table shows that the agar_dish_kmeans model correctly clustered the agar_dish_2 data.

未来数据分析

技术展望

结尾词