存在的问题:当把hql写到shell中,不方便阅读;但把hql写到文件中,又传递不了参数;怎么办呢?
自定义hivefile
执行方式形如:
第一个参数为要执行的hql文件,后续的参数为要替换的key-value对。
hivefile d:/hivefile_test.hql -date "2013-01-01" -name "luogk"
hivefile思路分析:
本案例脚本和代码均放置在/home/spark/software/hivefile路径下,lib包放在/home/spark/lib下
1、将hql脚本放置在单独的脚本中:hivefile_test.hql
select a.id,sum(b.amount) from city a join sale_order b on a.id=b.city_id where b.amount > {$amount} group by a.id
2、创建shell脚本:hivefile_test.sql,在sh脚本中通过hivefile调用hql文件,并传递进去要替换的参数键值对
#!/bin/bash
. ~/.bash_profile
cd /home/spark/software/hivefile
hivefile ./hivefile_test.hql -amount
3、创建hivefile脚本
. ~/.bash_profile
sql=`java -jar /home/spark/lib/hivefile.jar $*` #$*用于传递参数
echo "$sql"
hive -e "$sql"
4、hivefile做要的事情
1)获取到hive -e命令行的参数,形如:c:/hive_test.hql -date "2013-01-01" ;
2)解析参数,解析规则为:第一个参数为sql文件名,从第二个参数开始要替换的变量名采用"-"开头,紧跟着的是该变量名的值,一次类推;
3)java代码获取到文件名,读取该文件的内容,并使用值去替换掉文件中的占位符变量名;
4)将替换后的文件内容交给hive -e 去执行;
5、执行hivefile_test.sh
cd /home/spark/software/hivefile
hivefile_test.sh
6、为了使用hivefile脚本更加方便,将hivefile脚本封装到~/.bash_profile中去,使得在任意位置都可以执行hivefile命令,在path中添加hivefile的路径:
export PATH=.:/home/spark/software/hivefile
添加到环境变量后,就可以在任意路径下执行hivefile命令,形如:
hivefile /home/spark/software/hivefile/hivefile_test.hql -amount