python 实现敏感词过滤的方法

时间:2022-11-10 22:50:29

如下所示:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
#!/usr/bin/python2.6 
# -*- coding: utf-8 -*-
import time
class Node(object):
  def __init__(self):
    self.children = None
 
# The encode of word is UTF-8
def add_word(root,word):
  node = root
  for i in range(len(word)):
    if node.children == None:
      node.children = {}
      node.children[word[i]] = Node()
 
    elif word[i] not in node.children:
      node.children[word[i]] = Node()
 
    node = node.children[word[i]]
 
def init(path):
  root = Node()
  fp = open(path,'r')
  for line in fp:
    line = line[0:-1]
    #print len(line)
    #print line
    #print type(line)
    add_word(root,line)
  fp.close()
  return root
 
# The encode of word is UTF-8
# The encode of message is UTF-8
def is_contain(message, root):
  for i in range(len(message)):
    p = root
    j = i
    while (j<len(message) and p.children!=None and message[j] in p.children):
      p = p.children[message[j]]
      j = j + 1
 
    if p.children==None:
      #print '---word---',message[i:j]
      return True
   
  return False
 
 
 
def dfa():
  print '----------------dfa-----------'
  root = init('/tmp/word.txt')
 
  message = '四处乱咬乱吠,吓得家中11岁的女儿躲在屋里不敢出来,直到辖区派出所民警赶到后,才将孩子从屋中救出。最后在征得主人同意后,民警和村民合力将这只发疯的狗打死'
  #message = '不顾'
  print '***message***',len(message)
  start_time = time.time()
  for i in range(1000):
    res = is_contain(message,root)
    #print res
  end_time = time.time()
  print (end_time - start_time) 
 
def is_contain2(message,word_list):
  for item in word_list:
    if message.find(item)!=-1:
      return True
  return False
 
def normal():
  print '------------normal--------------'
  path = '/tmp/word.txt'
  fp = open(path,'r')
  word_list = []
  message = '四处乱咬乱吠,吓得家中11岁的女儿躲在屋里不敢出来,直到辖区派出所民警赶到后,才将孩子从屋中救出。最后在征得主人同意后,民警和村民合力将这只发疯的狗打死'
  print '***message***',len(message)
  for line in fp:
    line = line[0:-1]
    word_list.append(line)
  fp.close()
  print 'The count of word:',len(word_list)
  start_time = time.time()
  for i in range(1000):
    res = is_contain2(message,word_list)
    #print res
  end_time = time.time()
  print (end_time - start_time) 
 
 
if __name__ == '__main__':
  dfa()
  normal()

测试结果:

1) 敏感词 100个

?
1
2
3
4
5
6
7
----------------dfa-----------
***message*** 224
0.325479984283
------------normal--------------
***message*** 224
The count of word: 100
0.107350111008

2) 敏感词 1000 个

?
1
2
3
4
5
6
7
----------------dfa-----------
***message*** 224
0.324251890182
------------normal--------------
***message*** 224
The count of word: 1000
1.05939006805

从上面的实验我们可以看出,在DFA 算法只有在敏感词较多的情况下,才有意义。在百来个敏感词的情况下,甚至不如普通算法

下面从理论上推导时间复杂度,为了方便分析,首先假定消息文本是等长的,长度为lenA;每个敏感词的长度相同,长度为lenB,敏感词的个数是m。

1) DFA算法的核心是构建一棵多叉树,由于我们已经假设,敏感词的长度相同,所以树的最大深度为lenB,那么我们可以说从消息文本的某个位置(字节)开始的某个子串是否在敏感词树中,最多只用经过lenB次匹配.也就是说判断一个消息文本中是否有敏感词的时间复杂度是lenA * lenB

2) 再来看看普通做法,是使用for循环,对每一个敏感词,依次在消息文本中进行查找,假定字符串是使用KMP算法,KMP算法的时间复杂度是O(lenA + lenB)

那么对m个敏感词查找的时间复杂度是 (lenA + lenB ) * m

综上所述,DFA 算法的时间复杂度基本上是与敏感词的个数无关的。

以上这篇python 实现敏感词过滤的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持服务器之家。

原文链接:https://blog.csdn.net/isoleo/article/details/72379829