jieba自定义词典分词

shaoheshaohe

代码中的两种方式 :

添加自定义词典
    jieba.load_userdict("3dict.txt")

添加自定义正则   
    regex1 = u'(?:[^\u4e00-\u9fa5（）*&……%￥$，,。.@! ！]){1,5}期'  # 非汉字xxx期
    regex2 = r'(?:[0-9]{1,3}[.]?[0-9]{1,3})%'  # xx.xx%



调整词典

• 使用 add_word(word, freq=None, tag=None) 和 del_word(word) 可在程序中动态修改词典。
• 使用 suggest_freq(segment, tune=True) 可调节单个词语的词频，使其能（或不能）被分出来。
• 注意：自动计算的词频在使用 HMM 新词发现功能时可能无效。
  
  

代码示例：

>>> print('/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))
如果/放到/post/中将/出错/。>>> jieba.suggest_freq(('中', '将'), True)
>>> print('/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))
如果/放到/post/中/将/出错/。
>>> print('/'.join(jieba.cut('「台中」正确应该不会被切开', HMM=False)))
「/台/中/」/正确/应该/不会/被/切开>>> jieba.suggest_freq('台中', True)69
>>> print('/'.join(jieba.cut('「台中」正确应该不会被切开', HMM=False)))
「/台中/」/正确/应该/不会/被/切开

• "通过用户自定义词典来增强歧义纠错能力" --- https://github.com/fxsjy/jieba/issues/14
  

shaoheshaohe

https://blog.csdn.net/qq_35290785/article/details/90674113