Spark调优 Spark应用程序性能优化

时间:2023-10-12 08:57:21
【文件属性】:
文件名称:Spark调优 Spark应用程序性能优化
文件大小:1.48MB
文件格式:XMIND
更新时间:2023-10-12 08:57:21
spark 调优 分配更多的资源是性能优化调优的王道,就是增加和分配更多的资源,这对于性能和速度上的提升是显而易见的,基本上,在一定范围之内,增加资源与性能的提升,是成正比的;写完了一个复杂的spark作业之后,进行性能调优的时候,首先第一步,就是要来调节最优的资源配置;在这个基础之上,如果说你的spark作业,能够分配的资源达到了你的能力范围的顶端之后,无法再分配更多的资源了,公司资源有限;那么才是考虑去做后面的这些性能调优的点。

网友评论