python爬虫爬取赶集网数据

前期的配置工作在之前的一篇博文中有提到过，现在直接进行爬取

一.创建项目

scrapy startproject putu

二.创建spider文件

scrapy genspider  patubole patubole.com

 

三.利用chrome浏览器分析出房价和标题的两个字段的xpath表达式，开始编写patubole.py文件。网络的爬取是通过这个文件进行的

以下代码是最终的代码

所建的patubole.py文件必须实现name,parse函数，start_url这三个属性

# -*- coding: utf-8 -*-
import scrapy
from scrapy.http import Request
from urllib import parse
from patu.items import PatuItem


class PatuboleSpider(scrapy.Spider):
    name = 'patubole'
    # allowed_domains = ['python.jobbole.com']
    start_urls = ['http://xa.ganji.com/fang1/']

    def parse(self, response):
        zufang_title=response.xpath('//*[@class="f-list-item ershoufang-list"]/dl/dd[1]/a/text()').extract()
        zufang_money=response.xpath('//*[@class="f-list-item-wrap f-clear"]/dd[5]/div[1]/span[1]/text()').extract()17         for i,j in zip(zufang_title,zufang_money):
            print(i,":",j)20 

四.将爬取的数据保存到数据库sufang中。

（1）在pycharm中新建数据库

import sqlite3
zufang=sqlite3.connect('zufang sqlite')
create_table='create table zufang (title varchar(521),money varchar(128))'
zufang.execute(create_table)
exit()

　　

完成后会出现

（2）将数据存放在新建的数据库zufang的数据表sufang中

数据的爬取是有patubole.py实现的，数据的存储是由pipelines.py实现的，pipelines.py又是有items.py提供数据的支持

所以编写items.py

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class PatuItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    zufang_title=scrapy.Field()
    zufang_money=scrapy.Field()
    pass

此时就要回过头来修改刚开是为了测试编写的patubole.py 文件

代码如下

# -*- coding: utf-8 -*-
import scrapy
from scrapy.http import Request
from urllib import parse
from patu.items import PatuItem


class PatuboleSpider(scrapy.Spider):
    name = 'patubole'
    # allowed_domains = ['python.jobbole.com']
    start_urls = ['http://xa.ganji.com/fang1/']

    def parse(self, response):
        zufang_title=response.xpath('//*[@class="f-list-item ershoufang-list"]/dl/dd[1]/a/text()').extract()
        zufang_money=response.xpath('//*[@class="f-list-item-wrap f-clear"]/dd[5]/div[1]/span[1]/text()').extract()
        pipinstall=PatuItem()   #创建PatuItem实例，实现数据的传递
        for i,j in zip(zufang_title,zufang_money):
            pipinstall['zufang_title']=i
            pipinstall['zufang_money']=j

            yield pipinstall    #这一步很重要



      # pass

 

（3）在settings.py中进行PatuPipeline文件配置

ITEM_PIPELINES = {
   'patu.pipelines.PatuPipeline': 300,
}

（5）pipelines.py文件代码，实现存储数据到数据库中

其中包含SQL的相关知识

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html

import sqlite3
class PatuPipeline(object):
    def open_spider(self,spider):
        self.con=sqlite3.connect('zufang sqlite')
        self.cn=self.con.cursor()


    def process_item(self, item, spider):
        # print(item.zufang_title,item.zufang_money)
        insert_sql='insert into sufang (title,money) values("{}","{}")'.format(item['zufang_title'],item['zufang_money'])
        print(insert_sql)
        self.cn.execute(insert_sql)
        self.con.commit()
        return item

    def spider_close(self,spider):
        self.con.close()

最终结果

 

 其中main.py文件是为了调式方便而添加的，可以不用，直接用相关命令启动爬虫