python 以文档形式读入读出
对之前的代码总结。
python3方法1：文档以.json格式保存在文件夹中，文件夹只有单层，对文件夹中文档进行分个读取（应用见20170525-052501.py)
1 path = r'C:\Users\user\Desktop\heilongjiang.dbw.cn\\' 2 documents = [] 3 num = 0 4 for file in os.listdir(path)[0:]: 5 file = path + file 6 if not file.endswith('.json'): continue 7 f = open(file, 'rt', encoding='utf-8') 8 data = f.read() 9 body = json.loads(data) 10 11 content = body['content'] 12 # print(content) 13 num += 1 14 print(num, ' ', file) 15 documents.append(fenci(content))
python2方法2：文件夹下还有文件夹（有类别目录），多类别文档读取。（应用见20170530-corpus_segment.py）
1 corpus_path = "train_corpus_small/" # 未分词分类语料库路径 2 seg_path = "train_corpus_seg/" # 分词后分类语料库路径 4 catelist = os.listdir(corpus_path) # 获取corpus_path下的所有子目录 5 6 # 获取每个目录下所有的文件 7 for mydir in os.listdir(corpus_path): 8 class_path = corpus_path + mydir + "/" # 拼出分类子目录的路径 9 seg_dir = seg_path + mydir + "/" # 拼出分词后语料分类目录 10 if not os.path.exists(seg_dir): # 是否存在目录，如果没有创建 11 os.makedirs(seg_dir) 12 file_list = os.listdir(class_path) # 获取class_path下的所有文件 13 for file_path in file_list: # 遍历类别目录下文件 14 fullname = class_path + file_path # 拼出文件名全路径 15 content = readfile(fullname).strip() # 读取文件内容 16 content = content.replace("\r\n", "") # 删除换行和多余的空格 \r\n 17 content_seg = jieba.cut(content.strip()) # 为文件内容分词 18 savefile(seg_dir + file_path, " ".join(content_seg)) # 将处理后的文件保存到分词后语料目录
python2中对于读取编码问题的解决方案：（应用参见20170530-test3.py）
1 corpus = [] 2 tfidfdict = {} 3 for file_path in os.listdir(start_path): 4 fullname = start_path + file_path 5 content = readfile(fullname).strip() 6 #content = content.decode('gbk','ignore').encode('utf-8') 7 content = content.replace("\r\n", "") 8 content = content.decode('utf-8') 9 content_seg = jieba.cut(content.strip()) 10 savefile(end_path + file_path, " ".join(content_seg)) 11 for file_path in os.listdir(end_path): 12 fullname = end_path + file_path 13 content = readfile(fullname).strip() 14 content = content.decode('utf-8') 15 content = content.replace("\r\n", "").strip() 16 corpus.append(content) 17 #print corpus 18 for i in range(len(corpus)): 19 print str(corpus[i])
还有一个问题：为什么在sys.setdefaultencoding之前要写reload(sys)
1 import sys 2 reload(sys) 3 sys.setdefaultencoding('utf8')
参考文档：http://www.360doc.com/content/15/0105/15/9934052_438371998.shtml
研究python的模块加载过程，在sys加载后，setdefaultencoding方法被删除了，所以我们要通过重新导入sys来设置系统编码。
