python写的爬虫工具，抓取行政村的信息并写入到hbase里

python的版本是2.7.10，使用了两个第三方模块bs4和happybase，可以通过pip直接安装。

 

1.logger利用python自带的logging模块配置了一个简单的日志输出

2.getHtml利用自带的urllib2模块获得网站html的内容。另外urllib2还可以配置代理的，后期还可以做成每个线程用一个代理地址，防止线程开得太多让人家给封了。

3.get_html_class和get_html_id是两个几乎相同的函数，使用bs4模块抓取网页的相关内容

4.getcounty，getvillage和getintro是根据实际的网页过滤想要的信息，这个要根据每个网站的实际情况来定。

5.writetohbase利用了happybase模块把抓到的数据写入到hbase数据库里。这里要注意hbase要开启thrift1，happybase和thrift2是不兼容的。

6.div_list把一个大的列表，根据线程的数量散分成n个小的列表，好让每个线程只处理自己的那个列表

7.代码里的url只是天津市的，线程开了4个，每个线程都只抓51条，真的想要抓的话需要改一下

 

#!/usr/local/bin/python
# -*- coding: utf8 -*-

import urllib2,threading,time,logging,msvcrt
from bs4 import BeautifulSoup
import happybase

# 配置log
def logger(messagetype,message):
    logging.basicConfig(level=logging.INFO,format='%(asctime)s [%(levelname)s] %(message)s',datefmt='%Y-%m-%d %H:%M:%S',filename="spider.log")
    if (messagetype=="info"):
        logging.info(message)
    elif (messagetype=="warning"):
        logging.warning(message)

# 主页的网址，后面抓到的地址都是相对地址，要加上主页地址才能使用
def mainhtml():
    mainhtml="http://www.yigecun.com"
    return mainhtml

# 打开网页
def getHtml(url):
    page = urllib2.urlopen(url) 
    html = page.read()
    return html

# 获取网页中指定的内容    
def get_html_class(url,htmltype,htmlclass):    
    html = getHtml(url)
    soup = BeautifulSoup(html,"html.parser",from_encoding="UTF-8")
    divs=soup.find_all(htmltype,class_=htmlclass)
    content=[]
    for div in divs:
        content.append(str(div).decode("utf8"))
    return content

def get_html_id(url,htmltype,htmlid):
    html = getHtml(url)
    soup = BeautifulSoup(html,"html.parser",from_encoding="UTF-8")
    content=soup.find_all(htmltype,id=htmlid)
    return str(content[0]).decode("utf8")
    
# 县的名字和地址
def getcounty(url):
    # 从网页上获取省的名字
    province=get_html_class(url,"li","active")[0]
    province=province.split(">")[1].split("<")[0]
    
    # 定义一个列表存放县的信息及对应的链接地址
    list_county=[]
    
    # 从网页上获得省市县的信息及对应的链接地址
    content=get_html_class(url,"div","cunnavtagguoup")
    content[0]=content[0].replace("<div class=\"cunnavtagguoup\">\n","").replace("\n</div>","")
    for item in content[0].split("</div>"):
        
        # 获取地级市的名字
        if (item.split(">")[0]=="<div class=\"cunnavtaga\""):
            city=item.split(">")[1]
            # 地级市的名字前面加上省名的名字做前缀
            city=province+"-"+city
        
        # 获取到县的名字及相应的地址，并存放到列表里
        if (item.split(">")[0]=="<div class=\"cunnavtagb\""):
            # 县的名字前面再加上省市的名字
            county=city+"-"+item.split(">")[2].replace("</a","")
            path=mainhtml()+item.split("\"")[3]
            list=[]
            list.append(county)
            list.append(path)
            list_county.append(list)
    
    return list_county

# 获得村的名字和地址
def getvillage(list_county):
    list_village=[]
    
    content=get_html_class(list_county[1],"div","cunnavtagguoup cunmargintd10")
    content[0]=content[0].replace("<div class=\"cunnavtagguoup cunmargintd10\">\n","").replace("\n</div>","")
    
    for item in content[0].split("</div>"):
    
        # 获得镇一级的名字
        if (item.split(">")[0]=="<div class=\"cunnavtaga\""):
            town=item.split(">")[1]
            # 镇的名字前面加上对应的省，市，县的名字
            town=list_county[0]+"-"+town
            
        # 获取到村的名字及相应的地址，并存放到列表里
        if (item.split(">")[0]=="<div class=\"cunnavtagb\""):
            # 村在名字前面加上省市县镇的名字
            village=town+"-"+item.split(">")[2].replace("</a","")
            path=mainhtml()+item.split("\"")[3]
            list=[]
            list.append(village)
            list.append(path)
            list_village.append(list)
    return list_village

# 获得村的简介
def getintro(villagelist):
    intro=get_html_id(villagelist[1],"div","cunintr")
    intro=intro.replace("<div id=\"cunintr\">","").replace("</br>","").replace("</div>","").replace("\n","").replace(" ","")
    newvillagelist=[]
    newvillagelist.append(villagelist[0])
    newvillagelist.append(intro)
    return newvillagelist
    
#写到hbase数据库
def writetohbase(villagelist):

    # 村的名字做rowkey
    rowkey=villagelist[0]
    
    # 其他内容放入到info列族的相应列里
    content=villagelist[1].split("<br>")
    
    # 初始化每个列的值，因为有可能有的列是空的，直接调用要报错
    intro=""
    company=""
    farmprod=""
    resource=""
    unit=""
    other=""
    
    for i in range (0,len(content)):
        if (i==0):
            intro=content[i]
        elif (content[i].split(u"：")[0]==u"村内企业"):
            company=content[i].split(u"：")[1]
        elif (content[i].split(u"：")[0]==u"主要农产品"):
            farmprod=content[i].split(u"：")[1]
        elif (content[i].split(u"：")[0]==u"村内资源"):
            resource=content[i].split(u"：")[1]
        elif (content[i].split(u"：")[0]==u"村里单位"):
            unit=content[i].split(u"：")[1]
        else:
            other=content[i]
        
    connection=happybase.Connection("192.168.161.101")
    table=connection.table("village")
    table.put(rowkey.encode("utf8"),{"info:intro":intro.encode("utf8"),"info:company":company.encode("utf8"),"info:farmprod":farmprod.encode("utf8"),"info:resource":resource.encode("utf8"),"info:unit":unit.encode("utf8"),"info:other":other.encode("utf8")})

# 抓数据    
def work(thread_id,list_village):
    
    logger("info",u"线程"+"(thread_id="+str(thread_id)+u")已启动，总共需要爬取的数量是    "+str(len(list_village)))
    
    count=0
    errorlist=[]
    
    for village in list_village:
        
        # 碰到错误最多重试三次
        error=0
        
        while (error<3) and (count<=50):
            try:
                newvillagelist=getintro(village)            
                writetohbase(newvillagelist)
                # print "(thread_id="+str(thread_id)+")"+newvillagelist[0]+"done!"
                logger("info","(thread_id="+str(thread_id)+")"+newvillagelist[0]+"done!")
                count=count+1
                break;
            except:
                error=error+1
                time.sleep(5)
        
        if (error>=3):
            # print "(thread_id="+str(thread_id)+")"+newvillagelist[0]+"failed!"
            errorlist.append(newvillagelist[0])
            logger("warning","(thread_id="+str(thread_id)+")"+newvillagelist[0]+"failed!")
    
    logger("info","(thread_id="+str(thread_id)+u")工作结束，成功："+str(count)+u",失败："+str(len(errorlist)))

# 类似于数据库的hash分区一样，把一个大的列表取模拆分成几个小的列表，这样可以方便多个线程进行并发处理    
def div_list(list,n):
    divlist=[]
    
    for m in range (0,n):
        divlist.append([])
    
    for i in range (0,len(list)):
        divlist[i%n].append(list[i])
        
    result=[]
    
    for j in range (0,n):
        result.append(divlist[j])
    return result
        
if (__name__=="__main__"):
    
    # print "spider begin"
    logger("info",u"主程序启动")
    
    url="http://www.yigecun.com/lelist/listxian.aspx?id=0D59910890BB01DB"
    num_thread=4
    
    list=[]
    
    
    for list_county in getcounty(url):
        for list_village in getvillage(list_county):
            list.append(list_village)
    
    # print u"经统计需要爬取行政村的数量："+str(len(list))
    logger("info",u"经统计需要爬取行政村的数量：    "+str(len(list)))
    print u"按任意键继续"
    msvcrt.getch()
    
    
    newlist=[]
    newlist=div_list(list,num_thread)
    
    for i in range (0,num_thread):
        t=threading.Thread(target=work,args=(i,newlist[i]))
        t.start()
            

 

程序启动的时候：

 

结束的时候：

使用hive对hbase做mapreduce统计：