彩神大发快三_神彩大发快三官方

MaxCompute2.0性能评测:更强大、更高效之上的更快速

时间:2020-02-10 11:52:03 出处:彩神大发快三_神彩大发快三官方

       为了保证数据的合理性,性能测试数据就有每个测试案例完成多轮测试的稳定值,测试搭建使用独立的性能评测集群,测试前清理恢复初始环境,多轮测试非连续执行,连续执行全版个测试集合后再执行下一轮的测试集合。

       图中整体对比数据为:

              1- MaxCompute2.0离线计算比类似于于产品Hive2.0 on Tez性能优势快约90%以上

              2.MaxCompute2.0执行95%以上基准sql执行比hive快,共同我们歌词 歌词 分析了內部执行细节,去除调度等有些消耗时间,MaxCompute2.0针对执行的性能改进比Hive2.0提升在114%以上

              3-MaxCompute2.0比MaxCompute1.0性能提升68%

              4-MaxCompute2.0比Hive2.0 on Mr整体优势提升190%,其中77%的基准sql性能提升2x以上

              基于飞天的一代执行引擎性能有极大提升外,MaxCompute2.0已上线的基于rbo和cbo执行性能优化:

              1- 裁剪规则:列裁剪、分区裁剪、子查询裁剪

              2- 下推/合并规则:谓词下推

              3- 去重规则:Project去重、Exchange去重、Sort去重

              4- 常量折叠/谓词推导

              5- 关联优化:Auto MapJoin、 Skew Join;实现BroadcastHashJoin、ShuffleHashJoin、MergeJoin;Join Reordering

              6- 聚合优化: HashAggregate、SortedAggregate、Deduplicate

              7- 防止优化: GroupBy下推、Exchange下推、Sort下推

       本次评测侧重于已发布的MaxCompute2.0与离线防止类似于于竞品及线上稳定版本的性能对比,通过测试我们歌词 歌词 看得人MaxCompute2.0在功能上更强大、使用和发布更新更高效、开放生态的共同针对线上作业占比400%以上的Sql以及其中占比约400%的Sql离线批量计算性能有极大提升。



后能 看得人,在总体数据量T级别instance数量(百级别)情况,相同数据量相同数量的instance执行性能,MaxCompute2.0执行的平均执行性能优于Hive2.0OnTez(Hive2.0已调整最优):

              1- sum with group性能快速1倍

              2-sort-merge join提升约2倍以上

              3-hashjoin提升在1倍以上

              4-stremline提升400%以上

热门

热门标签