最近做分词,需要对stopwords列表进行筛选过滤,加入了一个filterlist.txt,把stopwords.txt.old里面包含filterlist.txt中行的行给过滤掉,生成一个新的stopwords.txt:
grep -v -f filterlist.txt stopwords.txt.old > stopwords.txt
最近做分词,需要对stopwords列表进行筛选过滤,加入了一个filterlist.txt,把stopwords.txt.old里面包含filterlist.txt中行的行给过滤掉,生成一个新的stopwords.txt:
grep -v -f filterlist.txt stopwords.txt.old > stopwords.txt