如何使用shell脚本快速排序和去重文件数据

时间：2022-02-26 08:38:01

　　前面写过一篇通过shell脚本去重10G数据的文章，见《用几条shell命令快速去重10G数据》。然而今天又碰到另外一个业务，业务复杂度比上次的单纯去重要复杂很多。找了很久没有找到相应的办法，于是用shell脚本程序去处理。具体业务逻辑：

　　1、首先根据给定指定进行排序

　　2、排序后对给定字段进行去重，去重的规则如下：

　　　　a）排序后如果相邻N行给定字段值相同的行数不超过两行，则两行都保留。

　　　　a）排序后如果相邻N行给定字段值相同的行数超过两行，则保留首行和尾行。

　　就这样一个业务逻辑，其实看起来并不是太难。但是问题来了，怎么才能在10～20G的数据中快速地进行处理呢？网上找了很久没找到相应的处理办法，于是先用一种相对笨的办法实现。

　　测试数据：

F250A4FFIDJDJ2938X39252E7, ,OQQQQB8,8769E,,,ss

F250A4FFIDJDJ2938X39252E7, ,OQQQQB8,8769E,,,ss

F250A4FFIDJDJ2938X39252E7, ,OQQQQB8,8769E,,,ss

F250A4FFIDJDJ2938X39252E7, ,OQQQQB8,8769E,,,ss

A0223EE1IDJDJ2938X39284BE, ,OQQQQ54,876F0,,,ss

A0223EE1IDJDJ2938X39284BE, ,OQQQQ54,876F0,,,ss

　　shell脚本：

if [ "$#" != "" ]; then

        echo "Usage: 参数1：文件路径，参数2：文件名。"

        exit

fi

#源文件所在目录

filepath=$

#源文件绝对路径

orgfile=$filepath"/"$

#合并字段后的临时文件

#mergerfile="$orgfile"_merge.txt

#排序后的临时文件

sortfile="$orgfile"_sort.txt

#最终结果文件

result_unique="$orgfile"_result_unique.txt

echo "">$result_unique

#echo "文件：$orgfile"

#echo "开始合并字段..."

#awk 'BEGIN{ FS=",";}{ print $1","$2","$3","$4","$5","$6","$7","$1$3$4 }' $orgfile > $mergerfile

#echo "字段合并结束..."

echo "文件排序 start..."

#sort -t $"," -k , -k , $mergerfile >$sortfile

sort -t $"," -k , $orgfile >$sortfile

echo "文件排序 end..."

printf "***********文件比较 start**************************\n"

echo "while read line <$sortfile"

cnt=

#首行

firstline=""

#尾行

lastline=""

#上一次比较的key

lastKey=""

#文件行数

linecount=`sed -n '$=' $sortfile`

i=

echo "linecount=========>>>>>>>$linecount"

while read line || [[ -n "$line" ]];

do

  echo $line;

  #合并需要比较的字段

  compare=`echo "$line"|awk -F ',' '{print $1$3$4}'`

  echo "compare=====$compare"

  #判断字符串是否相等

  if [ "$i" != "$linecount" -a "$lastKey" = "$compare" ];then

    echo "[ = ]"

    cnt=$(expr $cnt + )

    lastline="$line"

  else

    #首次进来

    if [ "$firstline" = "" ];then

        firstline=$line

        cnt=

        #echo "$firstline" >> $result_unique

    fi

    #echo "----$i---------------->>>>>>>>>>>$cnt"

    if [ $cnt -gt  -o "$i" == "$linecount" ];then

        echo "----$i---------------->>>>>>>>>>>$cnt"

        if [ "$i" != "$linecount" -a "$lastline" != "" ];then

                echo "$lastline" >> $result_unique

                echo "$line" >> $result_unique

        fi

        # 最后一行的特殊处理

        if [ "$i" == "$linecount" ];then

                echo "================last line==================="

                echo "$line" >> $result_unique

        fi

        firstline="$line"

        lastline="$line"

        cnt=

    elif [ $cnt -eq  ];then

        firstline=$line

        lastline="$line"

        cnt=

        echo "$lastline" >> $result_unique

    fi

  fi

  # 对比key

  lastKey="$compare"

  let i++

done <$sortfile

echo "*******************文件 $orgfile 处理结束***************************"

echo "*******************结果文件 $result_unique ***************************"

exit

　　给脚本添加执行权限：

chmod +x uniquefile.sh

　　执行shell脚本

sh ./uniquefile.sh ./文件路径 文件名

　　结果：

[root@xddsdsdsddssd ~]# sh uniquefile.sh ./ testfile.csv

文件排序 start...

文件排序 end...

***********文件比较 start**************************

while read line <.//testfile.csv_sort.txt

linecount=========>>>>>>>

A0223EE1IDJDJ2938X39284BE, ,OQQQQ54,876F0,,,ss

compare=====A0223EE1IDJDJ2938X39284BEOQQQQ54876F0

A0223EE1IDJDJ2938X39284BE, ,OQQQQ54,876F0,,,ss

compare=====A0223EE1IDJDJ2938X39284BEOQQQQ54876F0

[ = ]

F250A4FFIDJDJ2938X39252E7, ,OQQQQB8,8769E,,,ss

compare=====F250A4FFIDJDJ2938X39252E7OQQQQB88769E

-------------------->>>>>>>>>>>

F250A4FFIDJDJ2938X39252E7, ,OQQQQB8,8769E,,,ss

compare=====F250A4FFIDJDJ2938X39252E7OQQQQB88769E

[ = ]

F250A4FFIDJDJ2938X39252E7, ,OQQQQB8,8769E,,,ss

compare=====F250A4FFIDJDJ2938X39252E7OQQQQB88769E

[ = ]

F250A4FFIDJDJ2938X39252E7, ,OQQQQB8,8769E,,,ss

compare=====F250A4FFIDJDJ2938X39252E7OQQQQB88769E

-------------------->>>>>>>>>>>

================last line===================

*******************文件 .//testfile.csv 处理结束***************************

*******************结果文件 .//testfile.csv_result_unique.txt ***************************

　　最终结果文件：

[root@wewewwew ~]# more testfile.csv_result_unique.txt 

A0223EE1IDJDJ2938X39284BE, ,OQQQQ54,876F0,,,ss

A0223EE1IDJDJ2938X39284BE, ,OQQQQ54,876F0,,,ss

F250A4FFIDJDJ2938X39252E7, ,OQQQQB8,8769E,,,ss

F250A4FFIDJDJ2938X39252E7, ,OQQQQB8,8769E,,,ss

　　时间比较赶，先这样实现吧。哪位亲们有好的办法请告诉我。

相关文章