python 多进程jieba分词，高效分词，multiprocessing

 

自然语言任务经常使用jieba分词，数据量大时怎么加速，jieba分词不支持使用asyncio异步加速，使用multiprocessing还是可以的

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

import jieba import jieba.analyse import multiprocessing   # 加载自定义词典 jieba.load_userdict("user_dic.txt") jieba.load_userdict("cate_group.txt") jieba.analyse.set_stop_words('stopwords_v1.txt')   def process_text(text):     # 分词     words = jieba.cut(text, cut_all=True)           # 过滤长度小于2或大于10的词和纯数字的词     filtered_words = [w for w in words if len(w) >= 2 and len(w) <= 10 and not w.isdigit()]           # 返回分词结果     return filtered_words     # 创建进程池 pool = multiprocessing.Pool()   # 处理文本列表 # texts = ["这是一段测试文本", "这是另一段测试文本"] texts = data["new_text"] results = pool.map(process_text, texts)   # 输出结果 results

　　

结果：

[['估值', '有待', '修复', '煤炭', '平均', '市盈率', '美元'],
 ['国产',
  '医疗',
  '医疗器械',
  '器械',
  '行业',
  '发展',
  '迅速',
  '作为',
  '国内',
  '最大',
  '医疗',
  '医疗器械',
  '器械',
  '企业',
  '基本',
  '一枝',
  '一枝独秀',
  '独秀'],
 ['今日', '上海', '现货'],
 ['消息', '准备'],