使用python在scrapy框架下制作一个简单的爬虫
步骤：
一，新建一个工程
二，在工程中中新建一个爬虫项目，scrapy startproject myspider
scrapy startproject myspider #myspider为工程名，可根据自己需求更改
三，切入到项目目录下，然后在项目中，新建一个爬虫spider。
1 cd myspider #切入到项目目录下 2 scrapy genspider itcast itcast.cn#新建一个爬虫
四，在itcast.py中，编写爬取程序
1 # -*- coding: utf-8 -*- 2 import scrapy 3 4 5 class ItcastSpider(scrapy.Spider): 6 name = 'itcast'#爬虫名 7 allowed_domains = ['itcast.cn']#允许爬取得范围 8 start_urls = ['http://www.itcast.cn/channel/teacher.shtml']#最开始请求的url地址 9 10 def parse(self, response): 11 #处理start_url地址对应的响应 12 # ret=response.xpath("//div[@class='tea_con']//h3/text()").extract() 13 # print(ret) 14 15 # li_list=response.xpath("//div[@class='tea_con']//li") 16 # for li in li_list: 17 # item={} 18 # item["name"]=li.xpath(".//h3/text()").extract()[0] 19 # item["title"]=li.xpath(".//h4/text()").extract()[0] 20 # print(item) 21 22 23 li_list = response.xpath("//div[@class='tea_con']//li") 24 for li in li_list: 25 item = {} 26 item["name"] = li.xpath(".//h3/text()").extract_first() 27 item["title"] = li.xpath(".//h4/text()").extract_first() 28 # print(item) 29 yield item #将数据传给pipelines，使用生成器可以减小内存占用
五，开启MyspiderPipeline之前需要在settings.py中开启MyspiderPipeline
1 #开启ITEM_PIPELINES，ITEM_PIPELINES才可以使用 2 ITEM_PIPELINES = { 3 'myspider.pipelines.MyspiderPipeline': 300,#300表示爬虫的距离远近，越大越远， 4 }
六， 在MyspiderPipeline中进行数据处理
1 class MyspiderPipeline(object): 2 def process_item(self, item, spider): 3 item["hello"]="world" 4 print(item) 5 return item#为了让数据在不同的pipeline中传递，需要return来返回item,
七、保存爬取的数据
1 scrapy crawl itcast -o teacher.csv#将爬取的数据保存为teacher.csv
一个简单的scrapy框架下的爬虫就制作好了
