python对读取的文件内容进行分词
分词,即将连续的字序列按照一定的规范重新组合成词序列的过程,它是一种自然语言处理技术,这里的分词指中文分词,其本质是提取一个字符串中的词组或者字。
其详细代码非常简单,如下:
#导入jieba分词模块
import jieba
#记录输入的文件路径
filepath = input('请输入要读取的文件:')
#打开文件
with open(filepath,encoding='utf-8') as f:
#读取文件内容并分词
words = jieba.lcut(f.read())
#替换换行符
print(words)
结果:
['1', '.', '用', '代码', '行数', '来', '评估', '程序', '的', '开发进度', ',', '就', '好比', '拿', '重量', '来', '评估', '一个', '飞机', '的', '建造', '进度', '\n', '2', '.', '程序', '不是', '年轻', '的', '专利', ',', '但是', ',', '它', '属于', '年轻', '\n', '3', '.', '作为', '一个', '程序员', ',', '郁闷', '的', '事情', '是', ',', '面对', '一个', '代码', '块', ',', '缺', '不敢', '去', '修改', '。', '更', '糟糕', '的', '是', ',', '这个', '代码', '块', '还是', '自己', '写', '的']