使用Beautifulsoup爬取药智网数据

使用Beautifulsoup模块爬取药智网数据

Tips：1.爬取多页时，先用一页的做测试，要不然ip容易被封

2.自己常用的处理数据的方法：

reg=re.compile('正则表达式')
data=reg.sub('要替换的字符串',data)

 

代码（其实没多少）

# encoding=utf-8
from bs4 import  BeautifulSoup
import urllib2
import time
class YBZC():
    def __init__(self):
        self.user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
        self.headers={'User-Agent':self.user_agent}
    def getHtml(self,pageIndex):
        try:
            url='http://db.yaozh.com/zhuce?p='+str(pageIndex)
            request=urllib2.Request(url,headers=self.headers)
            respone=urllib2.urlopen(request)
            html=respone.read()
            return html
        except urllib2.URLError,e:
            if hasattr(e,'reason'):
                print u"连接失败",e.reason
                return  None
    def getItems(self):
        for i in range(1,13):
            html=self.getHtml()
            soup=BeautifulSoup(html,"html.parser")
            tr_list=soup.find_all('tr')
            # 表格标题
            if i==1:
                for item  in tr_list[0]:
                    if item not in ['\n','\t',' ']:
                        with open('yaopinzhuce1030.txt','a') as f:
                            f.write(item.get_text(strip=True).encode('utf-8')+'|')
                #=========================2015-10-30================================
                # 第一次的时候是现将数据全部都取下来，等存入文件的时候再筛选，现在直接筛选再
                # 存入文件中，当时的时候并没有想到并且没有理解get_text()方法，这个也是
                # 代码不精简的原因。。。。
                #===================================================================
                # list_tit=[]
                # for ths in tr_list[0]:
                    # if ths.find('a'):
                #         for item in ths:
                #             if type(item)!=unicode:
                #                 list_tit.append(item.string)
                #     else:
                #         list_tit.append(ths.get_text(strip=True))
                # for item in list_tit:
                #     if item not in ['',' ','\n','\t']:
                #         with open('yaopinzhuce_new.txt','a') as f:
                #             f.write(item.encode('utf-8')+'|')
            # 表格内容
            f=open('yaopinzhuce1030.txt','a')
            for tr in tr_list[1:]:
                f.write('\n')
                for item in tr:
                    if item not in ['',' ','\n']:
                       if item.string==None:
                            f.write('None'+'|')
                       else:
                            f.write(item.string.encode('utf-8')+'|')

            f.close()
            print 'sleeping... pageloading %d/12' %i
            time.sleep(5)


spider=YBZC()
spider.getItems()