如何用 Python 中的 NLTK 对中文进行分析和处理

一、NLTK进行分词

用到的函数：

nltksent_tokenize(text) #对文本按照句子进行分割

nltkword_tokenize(sent) #对句子进行分词

二、NLTK进行词性标注

用到的函数：

nltkpos_tag(tokens)#tokens是句子分词后的结果，同样是句子级的标注

三、NLTK进行命名实体识别（NER）

用到的函数：

nltkne_chunk(tags)#tags是句子词性标注后的结果，同样是句子级

上例中，有两个命名实体，一个是Xi,这个应该是PER，被错误识别为GPE了； 另一个事China，被正确识别为GPE。

四、句法分析

nltk没有好的parser，推荐使用stanfordparser

但是nltk有很好的树类，该类用list实现

可以利用stanfordparser的输出构建一棵python的句法树

这类分词基于人工标注的词性和统计特征，对中文进行建模，即根据观测到的数据（标注好的语料）对模型参数进行估计，即训练。

在分词阶段再通过模型计算各种分词出现的概率，将概率最大的分词结果作为最终结果。

常见的序列标注模型有HMM和CRF。

以上就是关于如何用 Python 中的 NLTK 对中文进行分析和处理全部的内容，包括:如何用 Python 中的 NLTK 对中文进行分析和处理、Python3 有什么推荐的中文分词器、等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！