Hive use mapreduce引擎 bsonFile splits报错处理

时间:2022-04-29 16:10:23

Hive use mapreduce引擎

1、          出现报错。关于bsonFile的。禁止hdfs里面存储的bson文件自动splits。

可以在hive-site.xml文件里面添加如下内容:

<property>

<name>bson.output.build_splits</name>

<value>false</value>

</property>

<property>

<name>bson.split.write_splits</name>

<value>false</value>

</property>

<property>

<name>bson.split.read_splits</name>

<value>false</value>

</property>

还可以添加一个选项,控制只读取以.bson结尾的文件:

<property>

<name> bson.pathfilter.class</name>

<value>com.mongodb.hadoop.BSONPathFilter</value>

</property>