CDH环境中如何修改HUE导出文件限制

时间:2024-03-29 10:54:13

今天开放了HUE账户给了第三方研发人员,用于查看我们服务器hive上部分数据。

但是对方反应,在下载查询出来的结果数据时,每次下载下来的文件都只有100万行,问我们是不是哪里做了限制。
起初我们以为是不是excel文件本身的行数限制问题,因为导出的excel文件为xlsx格式的,而excel07以上版本最大的行列分别是1,048,57616,384

但是导出的结果集正好是100万,而非1,048,576,所以我们认为并不是excel文件导致的。
在网上搜索也找不到原因,于是只好下载源码查看,发现在源码路径../apps/beeswax/src/beeswax下有一个conf.py文件,里面有个配置叫做download_row_limit,其配置的值正好是100万:
CDH环境中如何修改HUE导出文件限制
从英文解释中也能看出,这就是限制下载结果集条数的配置,在CDH官网中也能得到印证:
CDH环境中如何修改HUE导出文件限制

但这是源码中的配置文件,对应的在CDH环境中如何修改呢?

官网说可以通过修改hue.ini文件生效,于是我找到HUE Server 服务器下的/etc/hue/conf/目录,修改了下面的hue.ini文件,然后查看hue的配置页面,发现并没有生效。

我索性在CDH的安装目录下寻找源码对应的配置文件,在/opt/cloudera/parcels/CDH/lib/hue/apps/beeswax/src/beeswax下找到了和源码一样的conf.py,于是抱着试一试的心态修改了其中的配置,然后重启了HUE,果然就生效了:
CDH环境中如何修改HUE导出文件限制

可以看到,我修改的其实是默认值,不知道为什么不能通过修改配置值使其生效。