/*自定义导航栏*/

【NLP】3000篇搜狐新闻语料数据预处理器的python实现

3000篇搜狐新闻语料数据预处理器的python实现

白宁超

2017年5月5日17:20:04

摘要: 关于自然语言处理模型训练亦或是数据挖掘、文本处理等等，均离不开数据清洗，数据预处理的工作。这里的数据不仅仅指狭义上的文本数据，当然也包括视频数据、语音数据、图片数据、监控的流数据等等。其中数据预处理也有必要强调下，决然不是简单是分词工具处理后，去去停用词那么简单。即使去停用词，你选择的粒度尺寸也是有影响的，这跟工作性质和精确度要求也有着紧密的联系。其次选择多大的规模以及怎样维度都是有讲究的。本文由于主要针对新闻文本语料处理，经处理后可用于文本分类、文本聚类、特征提取、文本摘要等学习模型的训练。首先本文介绍下新闻语料的文本信息和编码问题；其次，对本实验运行的环境进行简单介绍，以及整个预处理器的框架构造；接着对单文本和批量文本的预处理工作的原理和实现介绍；还有对python如何调用java程序也通过实例进行演示。最后，对jieba分词工具的主要实现进行补充。本人邮箱：datathinks@qq.com，主页：http://www.cnblogs.com/baiboy/（本文原创，转载请标注原文出处:3000篇搜狐新闻语料数据预处理器的python实现 ） 

1 搜狐新闻语料获取和编码规范

简介：本文训练的新闻语料是从搜狐官网下载的10类3000篇新闻真实语料，具体如下图，其中每类下面是300篇新闻文章。其中：C000007 汽车，C000008 财经，C000010 IT，C000013 健康，C000014 体育，C000016 旅游，C000020 教育，C000022 招聘，C000023 文化，C000024 军事

这个语料开始不能使用，主要是编码问题。如果少量尚可以采用Notepad++进行编码转换，如此的文本量手动就那么费时费力，更不必说更大规模语料了。故而本文采用批量格式转码器进行处理【BatUTF8Conv，读者可以自行下载】。本文的10类3000篇新闻语料共计16.4M，经过编码处理后，读者可以到：【链接: https://pan.baidu.com/s/1jIJrGKu 密码: kksp】下载使用即可

2 开发环境和程序结构介绍

开发环境

本文使用的开发环境是sublime Text +anaconda集成的运行环境，其中（1）如果使用结巴分词，需要下载结巴分词并在本地安装.（2）如果使用hanLp，需要下载jar和hanLP进行安装并配置。

具体配置读者可以参照:【Python开发工具：Anaconda+Sublime】一文进行配置

 

标记1：经过编码处理后的新闻语料数据

标记2：经过分词等预处理后的熟语料数据

标记3：分别是1892字的中文停用词表、891字的英文停用词表、哈工大的767字的中文停用词表（下载链接: https://pan.baidu.com/s/1c1QFpcs 密码: zsek）

标记4：自定义词典

标记5：中文预处理程序和相关分词工具代码展示

3 单个文件的预处理

 3.1 测试单个文件原路径和保存路径及停用词路径

?
1
2
3
4
# 测试单个文件
dealpath="../Database/SogouC/FileTest/1.txt"
savepath="../Database/SogouCCut/FileTest/1.txt"
stopwordspath='../Database/stopwords/CH_stopWords.txt'

查看下测试文件如下：

测试处理结果：

3.2 加载自定义结巴词典

?
1
2
sys.path.append("../")
jieba.load_userdict("../Database/userdict.txt") # 加载自定义分词词典

3.3 单文本处理主函数介绍

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
'''
分词.词性标注以及去停用词
stopwordspath： 停用词路径
dealpath：中文数据预处理文件的路径
savepath：中文数据预处理结果的保存路径
'''
def cutTxtWord(dealpath,savepath,stopwordspath):
    stopwords = {}.fromkeys([ line.rstrip() for line in open(stopwordspath,"r",encoding='utf-8')]) # 停用词表
    with open(dealpath,"r",encoding='utf-8') as f:
        txtlist=f.read() # 读取待处理的文本
    words =pseg.cut(txtlist) # 带词性标注的分词结果
    cutresult=""# 获取去除停用词后的分词结果
    for word, flag in words:
        if word not in stopwords:
            cutresult += word+"/"+flag+" " #去停用词
            getFlag(cutresult,savepath) #

4 批量文件的预处理

语料预处理器的核心：目的是通过用户传输预处理文本文件夹即可，其后面的所有子文件夹自动处理，且将处理结果单独按照原语料结构格式进行归一化保存。这里面涉及几个问题：（1）支持停用词的处理；（2）采用结巴分词，支持自定义词典和词语合并拆分功能；（3）支持词性筛选；（4）支持标准化规约化语料集的形成

 随机查看批量预处理中C000024 军事的0.txt文件

处理后的结果：

4.1 批量处理文件路径

?
1
2
3
4
5
6
7
8
9
10
11
12
13
if __name__ == '__main__' :
    t1=time.time()
    stopwordspath='../Database/stopwords/CH_stopWords.txt'
    # 批量处理文件夹下的文件
    rfolder_path = '../Database/SogouC/FileNews/'
    # 分词处理后保存根路径
    wfolder_path = '../Database/SogouCCut/'
 
    # 中文语料预处理器
     cutFileWord(rfolder_path,wfolder_path,stopwordspath) # 多文本预处理器
 
    t2=time.time()
    print("中文语料语处理完成，耗时："+str(t2-t1)+"秒。") #反馈结果

4.2 分词.词性标注以及去停用词

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
'''
分词.词性标注以及去停用词
stopwordspath： 停用词路径
read_folder_path ：中文数据预处理文件的路径
write_folder_path ：中文数据预处理结果的保存路径
filescount=300 #设置文件夹下文件最多多少个
'''
 
def cutFileWord(read_folder_path,write_folder_path,stopwordspath):
    # 停用词表
    stopwords = {}.fromkeys([ line.rstrip() for line in open(stopwordspath,"r",encoding='utf-8')])
 
    # 获取待处理根目录下的所有类别
    folder_list = os.listdir(read_folder_path)
    # 类间循环
    for folder in folder_list:
        #某类下的路径
        new_folder_path = os.path.join(read_folder_path, folder)
 
        # 创建保存文件目录
        path=write_folder_path+folder #保存文件的子文件
        isExists=os.path.exists(path)
        if not isExists:
            os.makedirs(path)
            print(path+' 创建成功')
        else: pass
        save_folder_path = os.path.join(write_folder_path, folder)#某类下的保存路径
        print('--> 请稍等，正在处理中...')
 
        # 类内循环
        files = os.listdir(new_folder_path)
        j = 1
        for file in files:
            if j > len(files): break
            dealpath = os.path.join(new_folder_path, file) #处理单个文件的路径
            with open(dealpath,"r",encoding='utf-8') as f:
                txtlist=f.read()
                # python 过滤中文、英文标点特殊符号
                # txtlist1 = re.sub("[\s+\.\!\/_,$%^*(+\"\']+|[+——！，。？、~@#￥%……&*（）]+", "",txtlist)
            words =pseg.cut(txtlist) # 带词性标注的分词结果
            cutresult="" # 单个文本：分词后经停用词处理后的结果
            for word, flag in words:
                if word not in stopwords:
                    cutresult += word+"/"+flag+" " #去停用词
            savepath = os.path.join(save_folder_path,file)
            getFlag(cutresult,savepath)
            j += 1

其中：

1） # 停用词表： stopwords = {}.fromkeys([ line.rstrip() for line in open(stopwordspath,"r",encoding='utf-8')])

此格式将文本列表进行字典化处理，具体查看fromkeys（）方法的使用

2）# 获取根目录下的子文件夹集合： folder_list = os.listdir(read_folder_path)

3）#某类（子文件夹）下的所有文件：new_folder_path = os.path.join(read_folder_path, folder)

4）#创建文件：  

?
1
2
3
4
5
6
7
# 创建保存文件目录
        path=write_folder_path+folder #保存文件的子文件
        isExists=os.path.exists(path)
        if not isExists:
            os.makedirs(path)
            print(path+' 创建成功')
        else: pass

5） # python 过滤中文、英文标点特殊符号： txtlist1 = re.sub("[\s+\.\!\/_,$%^*(+\"\']+|[+——！，。？、~@#￥%……&*（）]+", "",txtlist)

6）过滤停用词：

?
1
2
3
for word, flag in words:
     if word not in stopwords:
           cutresult += word+"/"+flag+" " #去停用词

4.3 词性筛选

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
'''
做词性筛选
cutresult：str类型，初切分的结果
savepath： 保存文件路径
'''
def getFlag(cutresult,savepath):
    txtlist=[] #过滤掉的词性后的结果
    #词列表为自己定义要过滤掉的词性
    cixing=["/x","/zg","/uj","/ul","/e","/d","/uz","/y"]
    for line in cutresult.split('\n'):
        line_list2=re.split('[ ]', line)
        line_list2.append("\n") # 保持原段落格式存在
        line_list=line_list2[:]
        for segs in line_list2:
            for K in cixing:
                if K in segs:
                    line_list.remove(segs)
                    break
                else:
                    pass
        txtlist.extend(line_list)
 
    # 去除词性标签
    resultlist=txtlist[:]
    flagresult=""
    for v in txtlist:
        if "/" in v:
            slope=v.index("/")
            letter=v[0:slope]+" "
            flagresult+= letter
        else:
            flagresult+= v
    standdata(flagresult,savepath)

其中：词性问题参加结巴分词官网文档

4.4  标准化处理

?
1
2
3
4
5
6
7
8
9
10
11
12
13
'''
标准化处理，去除空行，空白字符等。
flagresult:筛选过的结果
'''
def standdata(flagresult,savepath):
    f2=open(savepath,"w",encoding='utf-8')
    for line in flagresult.split('\n'):
        if len(line)>=2:
            line_clean="/ ".join(line.split())
            lines=line_clean+" "+"\n"
            f2.write(lines)
        else: pass
    f2.close()

5 python调用java实现的HanLP工具

 1 安装jar包，并通过查看其是否安装配置成功。（此处环境变量配置省略）

java命令

javac命令

2 在c盘下创建hanlp文件下，并将下面的hanlp.jar包下载复制到hanlp文件夹下：

链接: https://pan.baidu.com/s/1qYmB0XQ 密码: hz9v

 

 

3） 启动java虚拟机

?
1
startJVM(getDefaultJVMPath(), "-Djava.class.path=C:\hanlp\hanlp-1.3.2.jar;C:\hanlp", "-Xms1g", "-Xmx1g") # 启动JVM，Linux需替换分号;为冒号:

4）具体代码和执行结果如下：

执行结果：

6 总结

新闻语料数据预处理器的python源码

本文核心代码如上所示，直接调用源程序就可完成基本的数据清洗工作操作，重用性较高，可以自定义扩展分词，也可以自定义过滤词性。

posted @   伏草惟存  阅读(5140)  评论(1)  编辑  收藏  举报
编辑推荐：
· 10年+ .NET Coder 心语，封装的思维：从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热？
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列：向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
阅读排行：
· 10年+ .NET Coder 心语 ── 封装的思维：从隐藏、稳定开始理解其本质意义
· 地球OL攻略 —— 某应届生求职总结
· 提示词工程——AI应用必不可少的技术
· Open-Sora 2.0 重磅开源！
· 周边上新：园子的第一款马克杯温暖上架
点击右上角即可分享
微信分享提示
AI IDE Trae