大家好，我是安果！

分詞在自然語(yǔ)言處理中有著常見(jiàn)的場(chǎng)景，比如從一篇文章自動(dòng)提取關(guān)鍵詞就需要用到分詞工具，中文搜索領(lǐng)域同樣離不開(kāi)分詞

Python 中有很多開(kāi)源的分詞工具，下面給大家介紹幾款常見(jiàn)的分詞依賴(lài)庫(kù)

“結(jié)巴” 分詞，GitHub 最受歡迎的分詞工具，立志做最好的 Python 中文分詞組件，支持多種分詞模式，支持自定義詞典

github star：26k

代碼示例

import jiebastrs=['我來(lái)到北京清華大學(xué)','乒乓球拍賣(mài)完了','中國(guó)科學(xué)技術(shù)大學(xué)']for str in strs: seg_list = jieba.cut(str,use_paddle=True) # 使用paddle模式 print('Paddle Mode: ' + ’/’.join(list(seg_list)))seg_list = jieba.cut('我來(lái)到北京清華大學(xué)', cut_all=True)print('全模式: ' + '/ '.join(seg_list)) # 全模式seg_list = jieba.cut('我來(lái)到北京清華大學(xué)', cut_all=False)print('精確模式: ' + '/ '.join(seg_list)) # 精確模式seg_list = jieba.cut('他來(lái)到了網(wǎng)易杭研大廈') # 默認(rèn)是精確模式print('新詞識(shí)別：', ','.join(seg_list))seg_list = jieba.cut_for_search('小明碩士畢業(yè)于中國(guó)科學(xué)院計(jì)算所，后在日本京都大學(xué)深造') # 搜索引擎模式print('搜索引擎模式:', '.join(seg_list))

輸出：

【全模式】: 我/ 來(lái)到/ 北京/ 清華/ 清華大學(xué)/ 華大/ 大學(xué)【精確模式】: 我/ 來(lái)到/ 北京/ 清華大學(xué)【新詞識(shí)別】：他, 來(lái)到, 了, 網(wǎng)易, 杭研, 大廈 (此處，“杭研”并沒(méi)有在詞典中，但是也被Viterbi算法識(shí)別出來(lái)了)【搜索引擎模式】： 小明, 碩士, 畢業(yè), 于, 中國(guó), 科學(xué), 學(xué)院, 科學(xué)院, 中國(guó)科學(xué)院, 計(jì)算, 計(jì)算所, 后, 在, 日本, 京都, 大學(xué), 日本京都大學(xué), 深造

項(xiàng)目地址：

https://github.com/fxsjy/jieba

pkuseg 是北大語(yǔ)言計(jì)算與機(jī)器學(xué)習(xí)研究組開(kāi)源的一款分詞工具

它的特點(diǎn)是支持多領(lǐng)域分詞，目前支持新聞?lì)I(lǐng)域，網(wǎng)絡(luò)領(lǐng)域，醫(yī)藥領(lǐng)域，旅游領(lǐng)域，以及混合領(lǐng)域的分詞預(yù)訓(xùn)練模型，用戶(hù)可以自由地選擇不同的模型

相比通用分詞工具，它的分詞準(zhǔn)確率更高

github star：5.4k

代碼示例

import pkusegseg = pkuseg.pkuseg() # 以默認(rèn)配置加載模型text = seg.cut(’python是一門(mén)很棒的語(yǔ)言’) # 進(jìn)行分詞print(text)

輸出

[’python’, ’是’, ’一’, ’門(mén)’, ’很’, ’棒’, ’的’, ’語(yǔ)言’]

項(xiàng)目地址：

https://github.com/lancopku/pkuseg-python

基于 BiLSTM 模型訓(xùn)練而成，據(jù)說(shuō)可能是最準(zhǔn)的開(kāi)源中文分詞，同樣支持用戶(hù)自定義詞典

GitHub star: 1.6k

代碼示例

import fooltext = '一個(gè)傻子在北京'print(fool.cut(text))# [’一個(gè)’, ’傻子’, ’在’, ’北京’]

項(xiàng)目地址：

https://github.com/rockyzhengwu/FoolNLTK

THULAC 由清華大學(xué)自然語(yǔ)言處理與社會(huì)人文計(jì)算實(shí)驗(yàn)室研制推出的一套中文詞法分析工具包

具有詞性標(biāo)注功能，能分析出某個(gè)詞是名詞還是動(dòng)詞或者形容詞

github star：1.5k

代碼示例

import thulac thu1 = thulac.thulac() #默認(rèn)模式 text = thu1.cut('我愛(ài)北京天安門(mén)', text=True) #進(jìn)行一句話(huà)分詞 print(text) # 我_r 愛(ài)_v 北京_ns 天安門(mén)_ns 代碼示例2 thu1 = thulac.thulac(seg_only=True) #只進(jìn)行分詞，不進(jìn)行詞性標(biāo)注 thu1.cut_f('input.txt', 'output.txt') #對(duì)input.txt文件內(nèi)容進(jìn)行分詞，輸出到output.txt

項(xiàng)目地址：

https://github.com/thunlp/THULAC-Python

目前我在用的還是結(jié)巴分詞，配合用戶(hù)自定義詞典，解決常見(jiàn)的網(wǎng)絡(luò)詞語(yǔ)

你在用什么分詞工具，歡迎留下你的意見(jiàn)

以上就是簡(jiǎn)述python四種分詞工具,盤(pán)點(diǎn)哪個(gè)更好用?的詳細(xì)內(nèi)容，更多關(guān)于python 分詞工具的資料請(qǐng)關(guān)注好吧啦網(wǎng)其它相關(guān)文章！