返利网--今日值得买--python爬虫

  做了一个返利网爬虫，想和大家分享一下，在新浪博客中写了写，一不小心切换了界面，写的东西也丢了。有点小失落~

  言归正传，说说我的这次返利网的爬虫经历^\/^

  返利网的“今日值得买”版块每天都有数据更新，而且汇集了各大电商网站，包括淘宝、京东、易迅等网站的促销打折商品，所以能在这里有点数据的积累，做一个文本数据挖掘，可能会发现一些价值。

  首先看一下“今日值得买”版块的首页，能不能找到什么规律

  你发现了吗？反正我没有。。。不过碰巧打开了“今日值得买”的第二页商品信息，结果奇迹出现了，URL改变了！！！网址竟然变成了zhide.fanli.com/p2，这就让人觉得有意思了，通过男人的第六感，我深深地感受到这URL中存在规律。

然后我打开了“今日值得买”的第一页信息，看看这页的URL是什么？！果真，和猜想的一样，是zhide.fanli.com/p1，那就问题很可能就解决了

  试试zhide.fanli.com/p3如果能打开第三页信息，那么问题解决了：URL的变化就是p后面数字的变化。验证一下，猜想正确！！

  真正难以解决的问题，现在能进入的网站是“今日值得买”的首页，真正的想获取商品的详细信息和买家的评论还需要点击商品的链接，进入商品信息界面才能进行采集，所访问商品的链接是必须的。但是商品信息的链接都是由随机数形成的，没有什么规律，怎么办呢？

  所以想办法获取这些随机数，也就是商品的编号，问题可能会解决。起初我是随机生成URL的后三位数字，发现有些网址能进，有些不能进，还有好多不是今天更新的数据；所以我就想到了能不能通过遍历“今日值得买”的每一页的信息，获取商品的编号，从而访问商品的链接信息呢？！经过实践肯定了我的想法。。。

  上代码！！！

#coding=utf-8
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )
import urllib2
import re
from bs4 import BeautifulSoup
import time
import socket
#返利网ip为fanly_url
fanly_path="F:\yaozhi\yaozhi.txt"
fanly_url="http://zhide.fanli.com/p"
format_url="http://zhide.fanli.com/detail/1-"
reg=r'data-id="\d{6}"'
reg2=r"\d{6}"
reg3='"lowest-network"'
reg4=r'<.+?>'
result=re.compile(reg)
class faly():
    def __init__(self):
        #初始化头文件  'User-Agent'
        self.user_agent='Mozilla/5.0 (Windows NT 6.1; WOW64; rv:41.0) Gecko/20100101 Firefox/41.0'
        self.html_data=[]
    def get_html(self,start_page=1,end_page=20):
        if start_page<1:
            return "页码输入错误"
        elif end_page>100:
            return "页码超出范围，请输入1-100的整数!"
        for i in range(start_page,end_page+1):
            print("----正在采集%d页的数据----"%i)
            rt=urllib2.Request(fanly_url+str(i))
            rt.add_header( 'User-Agent',self.user_agent)
#网络连接可能会出现问题，存在ip被封的风险,得到需要采集的网页的html
            try:
                my_data = urllib2.urlopen(rt).read()
                self.html_data.append(my_data)
                time.sleep(2)
                socket.setdefaulttimeout(15)
            except urllib2.URLError, e:
                if hasattr(e,'reason'):
                    print u"连接失败",e.reason
        return  str(self.html_data)
#print(faly().get_html())
class GetData():
    def __init__(self):
        self.html=faly().get_html()
        self.href=[]
        self.ls=[]
        self.url=[]
#通过获取href的值，得到实际需要访问的网址，网址变化的只是后面的数字，用正则表达式匹配，然后进行去重
    def get_hrefurl(self):
        tag=result.findall(self.html)
        for i in tag:
            self.href.append(i)
        result2=re.findall(reg2,str(self.href))
        if len(result2):
            for data in result2:
                if data not in self.ls:
                    self.ls.append(data)
                    url=format_url+str(data)
                    self.url.append(url)
        return self.url
#print GetData().get_hrefurl()

#获取商品的具体信息，包括打折商品网站、商品价格、简介等信息
class Href_mg():
    def __init__(self):
        self.list=GetData().get_hrefurl()
        self.txt_list=[]
    def show_mg(self):
        for item in range(len(self.list)):
            if len(self.list):
                url=str(self.list[item])
                mg=urllib2.Request(url)
                try:
                    req=urllib2.urlopen(mg).read()
                    soup=BeautifulSoup(req,"html.parser")
                    txt=soup.find_all('h1')
                    self.txt_list.append(txt)
                except urllib2.URLError,e:
                    print e.reason
        return str(self.txt_list).decode("unicode_escape")

#print  Href_mg().show_mg()
if __name__ == "__main__":
#提取文档，规整数据，写入本地
    with open(fanly_path,'a') as file:
        data=Href_mg().show_mg()
        data_s=re.sub(reg4,' ',data).replace('全网最低','').replace('[','').replace(']','').replace(',','\n').strip().replace('  ','')
        file.write(str(data_s))

  代码比较简单，还差一些买家评论没有采集，既然找到了规律，采集这个网站其他的数据也就是分分钟的事情。