今天开放了HUE账户给了第三方研发人员,用于查看我们服务器hive上部分数据。
但是对方反应,在下载查询出来的结果数据时,每次下载下来的文件都只有100万行,问我们是不是哪里做了限制。
起初我们以为是不是excel文件本身的行数限制问题,因为导出的excel文件为xlsx格式的,而excel07以上版本最大的行列分别是1,048,576
和16,384
但是导出的结果集正好是100万,而非1,048,576
,所以我们认为并不是excel文件导致的。
在网上搜索也找不到原因,于是只好下载源码查看,发现在源码路径../apps/beeswax/src/beeswax
下有一个conf.py
文件,里面有个配置叫做download_row_limit
,其配置的值正好是100万:
从英文解释中也能看出,这就是限制下载结果集条数的配置,在CDH官网中也能得到印证:
但这是源码中的配置文件,对应的在CDH环境中如何修改呢?
官网说可以通过修改hue.ini文件生效,于是我找到HUE Server 服务器下的/etc/hue/conf/
目录,修改了下面的hue.ini
文件,然后查看hue的配置页面,发现并没有生效。
我索性在CDH的安装目录下寻找源码对应的配置文件,在/opt/cloudera/parcels/CDH/lib/hue/apps/beeswax/src/beeswax
下找到了和源码一样的conf.py,于是抱着试一试的心态修改了其中的配置,然后重启了HUE,果然就生效了:
可以看到,我修改的其实是默认值,不知道为什么不能通过修改配置值使其生效。