1scrapy框架使用-入门,创建项目,生成爬虫,编写爬虫,使用pipeline,使用log,
####
安装scrapy
安装:pip install scrapy
####
创建scrapy项目
进入你要创建项目的目录下来,在命令窗口,输入命令:scrapy startproject scrapy_demo1
###
生成一个爬虫,
进入爬虫项目的根目录,然后执行命令,scrapy genspider spider1 baidu.com
注意最后有一个域名,这个就是你要爬取的网站的域名,
为什么要生成爬虫的时候给一个域名,因为防止爬取的时候爬到别的网站上去了,
#####
项目目录解释
上面的操作结果
######
解释这个目录结构
1,spider就是写爬虫的
2,iterms,定义了字段
3,middlewares,中间件
4,pipeline,就是处理保存数据的
5,setting就是配置文件,
6,scrapy.cfg,这是文件指定了配置文件的位置,
####
编写第一个爬虫
import scrapy class Spider1Spider(scrapy.Spider): name = 'spider1' allowed_domains = ['sina.com.cn'] start_urls = ['https://news.sina.com.cn/'] def parse(self, response): print(response.text) if __name__ == '__main__': from scrapy import cmdline cmdline.execute("scrapy crawl spider1 --nolog".split())
##
注意,使用response的方法和requests是一样的,
####
运行爬虫
命令:
scrapy crawl itcast 后面跟的是爬虫的名字
scrapy crawl 爬虫名字 --nolog
会打印很多的日志,可以把日志关闭,在setting文件里面,加上这一句:LOG_LEVEL = "WARNING"
启动爬虫run.py
from scrapy import cmdline cmdline.execute("scrapy crawl lagou".split())
####
爬虫内部方法的使用:
import scrapy class Spider1Spider(scrapy.Spider): name = 'spider1' allowed_domains = ['sina.com.cn'] start_urls = ['https://news.sina.com.cn/'] def parse(self, response): # print(response.text) # print(dir(response)) # print(dir(response.xpath('//div[@id = "syncad_1"]//a/text()'))) # print(response.xpath('//div[@id = "syncad_1"]//a/text()')) # 这是返回一个选择器列表 # print(response.xpath('//div[@id = "syncad_1"]//a/text()').extract()) # 这是返回一个列表 # print(response.xpath('//div[@id = "syncad_1"]//a/text()').extract_first()) # 这是返回列表的第一个值, # print(response.xpath('//div[@id = "syncad_1"]//a/text()').get()) ret = response.xpath('//div[@id = "syncad_1"]//a') for i in ret: # print(i.xpath('./text()').extract_first()) # print(i.attrib['href']) # print(i.xpath('./@href').extract_first()) yield { "text": i.xpath('./text()').extract_first(), "href": i.xpath('./@href').extract_first() } if __name__ == '__main__': from scrapy import cmdline cmdline.execute("scrapy crawl spider1 --nolog".split())
####
1,yield item ---这个yield一定要是一个requests,或者baseitem,或者字典,或者none,不能是一个列表,现在就是返回的一个字典
2,把item传递到pipeline里面,使用yield,使用生成器,减少内存占用
3,注意,这个parse方法不能动,
####
开启pipeline,处理数据
开启pipeline,爬虫里面的yield item才可以传递到pipeline里面
settings里面设置打开
ITEM_PIPELINES = { 'myspider.pipelines.MyspiderPipeline': 300, 后面的这个值是权重,有多个时候,先经过权重低的,
'myspider.pipelines.MyspiderPipeline1': 301, }
1,可以有多个处理的pipeline
2,权重值越小,优先级越高,
3,如果有多个pipeline,必须要都加入setting里面,
###
对应的pipeline
class ScrapyDemo1Pipeline: def process_item(self, item, spider): print(item) item["hello"] = "world" print(dir(spider)) print(spider.name) print("--------") return item class MyspiderPipeline1: def process_item(self, item, spider): print(item) return item
###
1,这个process_item 方法的名字不能动,必须要这个名字,这是专门来接收spider返回的内容的,
2,这个return一定要有,因为需要传递到后面一个process里面,
3,记住,这个pipeline是所有的爬虫公用的,那怎么区分这个进来的爬虫,可以使用spider.name来识别,
####
logging使用
首先是在setting中设置使用log
scrapy中使用logging #settings中设置 LOG_LEVEL=“WARNING” LOG_FILE="./a.log" #设置日志保存的位置,设置会后终端不会显示日志内容
然后可以使用一个logger文件封装,这样是使用一个单例模式,不会每次都生成一个logger,
普通项目中使用logging 具体参数信息:https://www.cnblogs.com/bjdxy/archive/2013/04/12/3016820.html #a.py文件 import logging #level: 设置日志级别,默认为logging.WARNING logging.basicConfig(level=logging.INFO, format= #日志的时间 '%(asctime)s' #日志级别名称 : 当前行号 ' %(levelname)s [%(filename)s : %(lineno)d ]' #日志信息 ' : %(message)s' #指定时间格式 , datefmt='[%Y/%m/%d %H:%M:%S]') #实例化logging,显示当前运行文件的名字,不写不会显示运行文件的目录 logging=logging.getLogger(__name__) if __name__ == '__main__': #日志级别打印信息 logging.info("this is a info log")
b.py文件使用a.py文件的logging(日志) #b.py文件 from a import logging #导入a.py中的实例logging if __name__ == '__main__': #warning级别大于info也可以打印,debug级别小于info,不可以打印 logger.warning("this is log b")
日志级别: debug #调试 info #正常信息 warning #警告 error #错误 如果设置日志级别为info,warning级别比info大,warning也可以打印,debug比info小不可以打印 如果设置日志级别为warning,info和debug都比warning小,不可以打印
####
####