问题解决系列：spark.debug.maxToStringFields

问题场景

使用​​spark 2.4.0​​进行统计数据，报错误，错误提示为：

WARN  Utils:66 - Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting 'spark.debug.maxToStringFields' in SparkEnv.conf.

原因

是因为该表字段个数比较多，超过了默认值​​25​​，所以提示报错。

解决方法

1. 程序解决方法

SparkSession
        .builder()
        .master("local[2]")
        .appName("test")
        .config("spark.debug.maxToStringFields", "100")
        .getOrCreate();

2. 永久解决方法

# spark配置文件 
# 在spark-defaults.conf文件中添加一行处理，重启slave,再此进入spark-shell, warning消失了。
spark.debug.maxToStringFields=100

随缘求赞

如果我的文章对大家产生了帮忙，可以在文章底部点个赞或者收藏；
如果有好的讨论，可以留言；
如果想继续查看我以后的文章，可以左上角点击关注

也可以扫描以下二维码，关注我的公众号：枫夜之求索阁，查看我最新的分享！