【Tech】POI标签分类

寒假老板给的任务，让我重现这个实验http://www.liuhaihua.cn/archives/15565.html。自己就随便试了下，用的都是比较经典(lao)的算法和知识，记录一下。

一、从网页上爬取POI数据

    找了一圈，感觉这个网站比较靠谱：http://www.poi86.com，因为这里只需要POI标签，不需要其他类似地址啊什么的信息，所以这个网站足够用了。

    爬网站使用的scrapy这个开源库，核心代码如下：

import re
import json

from scrapy.spider import BaseSpider

class spider(BaseSpider):
    name = "poi86"
    allowed_domains = ["poi86.com"]
    indexes = range(1,1000)
    start_urls = []
    for i in indexes:
        url = 'http://www.poi86.com/poi/category/43/%s.html' % i
        start_urls.append(url);

    def parse(self,response):
        filename = response.url.split("/")[-1]
        open(filename,'wb').write(response.body)

以上代码只做了“下载网页并保存”的工作，接下来的代码从每个网页中提取POI标签信息。

import os
d = '/Users/sunshineatnoon/Documents/POI/train/'
article_number = [0,344,1143,1943,2572,3137]
names = ['finace','hotel','resturant','transport','amusment']
for i in range(1,len(article_number)):
    begin = article_number[i-1]+1
    all_shops = []
    for k in range(begin,article_number[i]+1):
        filename = str(k)+'.html';
        file_object = open(d+filename)
        all_text = file_object.read()
        all_text_split = all_text.split('<table class="table table-bordered table-hover">')
        names_split = all_text_split[1].split('title="">')
        for j in range(1,len(names_split)):
            shop_name_list = names_split[j].split('</a></td>')
            all_shops.append(shop_name_list[0])
    all_shops = list(set(all_shops))
    output = open('/Users/sunshineatnoon/Documents/POI/preprocess/'+names[i-1],'w')
    for item in all_shops:
        output.write(item+'\n')
    output.close()

最后的数据量大概是这样的：

类别	页面数量	POI标签数目
金融	344	9186
宾馆	799	37985
餐饮	800	37248
交通	629	22012
休闲娱乐	565	25737
总计	3137	132168

二、分词

下载到的POI标签信息，都是短文本，这里利用向量空间来表征这些短文本的特征。那么首先要进行分词，这里使用jieba分词，该工具有三种分词模式：精确模式，全模式，搜索引擎模式；这里使用的是精确模式。分词的核心代码如下：

seg_list = jieba.cut(line,cut_all=False)
word_list = " ".join(seg_list)
word_list = word_list.split(" ")

分词完成后，选取词频大于等于5的词作为初步处理得到的字典。

三、 根据信息增益选取特征词

将POI信息中单词的信息增益值作为衡量单词对分类作用的大小，挑选出信息增益top10%(约1000个单词)的单词作为POI信息的特征。其中单词的信息增益计算公式如下：

其中上式中第一项为训练数据集中原始信息熵，对于所有的单词是相同的，所以这里只计算上式中后两项之和，即根据t分类后数据的信息熵，然后根据从小到大的顺序选取1000个单词作为特征词。

熵值排名前20的单词如下所示：百货店，宾馆，停车场，支行，酒店，加油站，中国，银行，网吧，邮政储蓄，中国农业银行，KTV，所，会，分理处，网络，客运站，旅馆，财产保险，公寓；可以看出上述大部分单词都是以上五个类别（金融，交通，休闲娱乐，宾馆，餐饮）的典型代表词。

四、多项式朴素贝叶斯模型

上述特征词形成了一组“特征”，根据这组特征词，可以将一个POI信息表示为0-1向量，该向量作为POI信息的向量空间表示，输入到朴素贝叶斯模型进行分类。后续实验中利用weka中得朴素贝叶斯模型，所以这里将向量整理为weka输入格式，如下所示：

@RELATION POI
@ATTRIBUTE 1 NUMERIC
@ATTRIBUTE 2 NUMERIC
……
@ATTRIBUTE 1006 NUMERIC
@ATTRIBUTE class {1,2,3,4,5}
@DATA
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1
……

其中最后的1表示该样本属于第一类，即finance类.

这里借助weka分类工具，训练多项式朴素贝叶斯分类模型，并通过十折交叉验证得到模型准确率。结果如下：

模型准确率为88.6%。

 参考资料：

【1】http://www.liuhaihua.cn/archives/15565.html

【2】http://www.cnblogs.com/wentingtu/archive/2012/03/24/2416235.html

【3】http://scrapy.org

【4】http://www.cs.waikato.ac.nz/~ml/weka/