【文件属性】:
文件名称:xmljava系统源码-flink-community-perf:Flink的TPC-DS性能测试工具
文件大小:12.71MB
文件格式:ZIP
更新时间:2021-06-06 00:27:26
系统开源
xml
java系统源码
天池Flink
TPC-DS性能大赛赛题说明
1.说明:
Flink团队提供用于比赛的,选手进行Flink
代码优化以提升Flink
SQL执行效率,
组委会提供
供选手自行测试,
比赛阶段,选手将最终优化后的Flink代码打包,通过天池平台提交,天池平台会使用相同的性能测评工具,进行评测、排名。
2.具体赛题
1.比赛使用的测试数据集为100G,用户自行用Benchmark工具生成,生成数据集的随机因子组委会不公开。
2.比赛使用SQL
query为TPC-DS工具生成的99个SQL(含变种SQL),共计103个,组委会从中选择20条SQL进行评测。
3.选手可以进行SQL优化,执行Plan算子优化,引擎优化,调度优化,数据传输优化等,以便让SQL作业执行更快速。
4.选手每天有三次提交作业的机会,每个自然日提供5次代码运行机会。
5.组委会保留对赛题修改的权利。
3.比赛流程
1.选手从拉取Flink代码进行优化。
2.选手从
获取query。
3.选手通过
生成测试数据,建议利用将数据转换成parquet格式以获取更好的性能。
4.本地利用评测优化效果。