python 分词及语义识别

1、除去字符串中的符号
testtext=‘淮南市寿县炎刘镇机械厂1|淮南市寿县:安徽蓝博旺机械集团工程车辆有限公司(东门)【创业大道与242省道交叉口南150米】;’
pattern = re.compile(“[^{\u4e00-\u9fa5}a-z^A-Z0-9]”) # 只保留中英文、数字，去掉符号
content2 = re.sub(pattern, ‘’, testtext)
print(content2)

2、分词及去重
cutinfo=[x for x in jieba.cut(content2)]
cutinfo1=list(set(cutinfo))
cutinfo1.sort(key=cutinfo.index)
print(‘’.join(cutinfo1))