xmljava系统源码-flink-community-perf:Flink的TPC-DS性能测试工具

时间:2021-06-06 00:27:26
【文件属性】:
文件名称:xmljava系统源码-flink-community-perf:Flink的TPC-DS性能测试工具
文件大小:12.71MB
文件格式:ZIP
更新时间:2021-06-06 00:27:26
系统开源 xml java系统源码 天池Flink TPC-DS性能大赛赛题说明 1.说明: Flink团队提供用于比赛的,选手进行Flink 代码优化以提升Flink SQL执行效率, 组委会提供 供选手自行测试, 比赛阶段,选手将最终优化后的Flink代码打包,通过天池平台提交,天池平台会使用相同的性能测评工具,进行评测、排名。 2.具体赛题 1.比赛使用的测试数据集为100G,用户自行用Benchmark工具生成,生成数据集的随机因子组委会不公开。 2.比赛使用SQL query为TPC-DS工具生成的99个SQL(含变种SQL),共计103个,组委会从中选择20条SQL进行评测。 3.选手可以进行SQL优化,执行Plan算子优化,引擎优化,调度优化,数据传输优化等,以便让SQL作业执行更快速。 4.选手每天有三次提交作业的机会,每个自然日提供5次代码运行机会。 5.组委会保留对赛题修改的权利。 3.比赛流程 1.选手从拉取Flink代码进行优化。 2.选手从 获取query。 3.选手通过 生成测试数据,建议利用将数据转换成parquet格式以获取更好的性能。 4.本地利用评测优化效果。

网友评论