【转】4款开源python中文分词工具

本文转自【这四款Python分词工具，你用过吗？-51CTO.COM】，有大量删减。

 jieba 分词

github地址：https://github.com/fxsjy/jieba
“结巴”分词，可以说是 GitHub 最受欢迎的分词工具，支持自定义词典，支持多种分词模式，立志成为 Python 中最好的中文分词组件。

pkuseg 分词

github地址：https://github.com/lancopku/pkuseg-python

pkuseg 的特点是支持多种不同的分词领域，新闻、网络、医药、v旅游等领域的分词训练模型，相比于其他分词工具，不但可以自由的选择不同模型，而且可以提供更高的分词准确率。

FoolNLTK 分词

github地址：https://github.com/rockyzhengwu/FoolNLTK

FoolNLTK 分词是基于BiLSTM模型训练而来的，支持用户自定义词典，有人说它是最准确的开源中文分词，不知道你有没有尝试过呢?

THULAC

github地址：https://github.com/thunlp/THULAC-Python

THULAC由清华大学自然语言处理与社会人文计算实验室，研制推出的具有词性标注功能的中文词法分析工具包。能分析出某个词是名词还是动词或者形容词。利用我们集成的目前世界上规模最大的人工分词和词性标注中文语料库(约含5800万字)训练而成，模型标注能力强大。该工具包在标准数据集Chinese Treebank(CTB5)上分词的F1值可达97.3%，词性标注的F1值可达到92.9%，与该数据集上最好方法效果相当。速度较快。