提取hdfs文件名的方法

时间:2021-05-22 16:03:07
#!/bin/bash
#-------------------------------------------------------------
# 把目录中的所有文件getmerge到本地
# sh getmerge_batch.sh hdfs://hbase11:9000/sparkTsData/rapid7/out
#-------------------------------------------------------------
outdir=$1
source ~/.bash_profile
files=`hdfs dfs -ls $outdir |  awk -F " " '{print $8}'`
for name in $files
do
        filename=`echo $name  | awk -F '/' '{print $7}'`   # this line================
        #hdfs dfs -getmerge $name
        echo $filename
done