敏感词过滤算法

如果有字符串为xwabfabcff,敏感词为abc、bf、bc、m，若这个字符串中包含敏感词，则使用***代替敏感词，实现一个算法。

敏感词过滤算法

算法如下：

1.使用三个指针，指针1指向根节点，指针2指向字符串下标起始值，指针3指向字符串当前下标值。指针1为tempnode=rootnode，指针2为begin=0，指针3为position=0，创建sb来保存结果；

2.遍历x，tempnode未找到子节点x，将x报存到sb中，begin=begin+1;position=begin，tempnode=rootnode;

遍历w，tempnode未找到子节点w，将w报存到sb中，begin=begin+1;position=begin，tempnode=rootnode;

遍历a，tempnode找到子节点a，tempnode指向a节点，则position++；

遍历b，tempnode发现a节点下有b这个子节点，所以，tempnode指向b节点，则position++；

遍历f，tempnode发现b节点下没有f这个子节点，所以，代表以begin开头的字符串，不会有敏感字符，因此，将a存入sb中。position=begin+1;bigin=position;tempnode=rootnode

遍历a，tempnode找到子节点a，tempnode指向a节点，则position++；

遍历b，tempnode发现a节点下有b这个子节点，所以，tempnode指向b节点，则position++；

遍历c，tempnode发现b节点下有c这个子节点，而且c值敏感词结尾标记，所以，打码。将***写入sb中，同时，begin=position+1;position=begin;tempnode=rootnode;

遍历f，tempnode发现根节点下没有f这个节点，因此，将f存入sb中。position=begin+1;bigin=position;tempnode=rootnode；

因此，最后sb中为：xwa******ff;

这里每次是将position指向的字符挨个的与tempnode的子节点进行比较，因此，代码中的while条件应该是

while (position < text.length()){}
同时，需要思考：
如果字符串为xwabfabcfb，则最后，begin指向b下标，position指向b下标，tempnode发现根节点下有b节点，因此position++;然后就退出循环了。而此时，sb中还只保存了xwa******f,
所以，我们在循环的最后，还要将最后一串字符串加进来。
 result.append(text.substring(begin));

分析后，整个代码如下：

/**
 * 过滤敏感词
 */
public String filter(String text) {
    if (StringUtils.isBlank(text)) {
        return text;
    }
    String replacement = DEFAULT_REPLACEMENT;
    StringBuilder result = new StringBuilder();

    TrieNode tempNode = rootNode;
    int begin = 0; // 回滚数
    int position = 0; // 当前比较的位置
    while (position < text.length()) {
        char c = text.charAt(position);
        tempNode = tempNode.getSubNode(c);
        if (tempNode == null) {
            result.append(text.charAt(begin));
            // 跳到下一个字符开始测试
            position = begin + 1;
            begin = position;
            // 回到树初始节点
            tempNode = rootNode;
        } else if (tempNode.isKeywordEnd()) {
            // 发现敏感词， 从begin到position的位置用replacement替换掉
            result.append(replacement);
            position = position + 1;
            begin = position;
            tempNode = rootNode;
        } else { //还不确定是不是敏感词
            ++position;
        }
    }
    result.append(text.substring(begin));

    return result.toString();
}

秒客网

敏感词过滤算法

相关文章