DAY 91 爬虫05

1 切换frame,动作链
2 xpath选择:在xml中查找内容的一门语言
-.
   -..
   -/
   -//
   -@
3 自动登录12306
-打码平台使用:别人帮我们破解验证码
   -使用selenium点击,滑动
   -有的网站会校验是否使用了自动化测试软件:
  -window.navigator.webdriver
   -获取验证码
  -验证码图片的位置和大小
  -屏幕截图,pillow抠图
       -base64编码,存成图片,前面有标志部分
       -base64的解码和编码  
       
4 scrapy
-pip3 install scrapy
-7个组件
  -爬虫:spiders文件夹下的一个个py文件,爬取的地址,解析数据
       -爬虫中间件:介于爬虫和引擎之间的
       -引擎:大总管,负责数据的流动
       -调度器:爬取地址的调度和去重
       -下载中间件
       -下载器:负责下载
       -管道:存储,数据清洗
       
  -创建项目,创建爬虫
  -scrapy startproject 名字
       -scrapy genspider 爬虫名  爬虫地址
       -scrapy crawl 爬虫名
-目录结构
   -数据解析
  -xpath
      -拿文本:'.//a/text()'
           -拿属性:'.//a/@href'
       -css
      -拿文本:'a.link-title::text'
           -拿属性:'img.image-scale::attr(src)'
           
       -取一条;extract_first()
       -取多条:extract()

1 setting中相关配置

1 是否遵循爬虫协议
ROBOTSTXT_OBEY = False

2 请求客户端类型
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36'

3 日志级别(--nolog好在,如果出错,控制台会报错)
LOG_LEVEL='ERROR'

 

2 持久化方案

1 第一种方案,直接存(很少)
-解析函数返回列表套字典
   -执行:scrapy crawl cnblogs -o 文件名(json,pkl,csv结尾)
   
2 第二种:通用方法(pipline)
-1 在items.py中写一个类,继承scrapy.Item
   -2 在类中写属性
  title = scrapy.Field()
   -3 在爬虫中导入类,实例化得到对象,把要保存的数据放到对象中
  item['title'] = title
   -4 修改配置文件,指定pipline,数字表示优先级,越小越大
  ITEM_PIPELINES = {
  'crawl_cnblogs.pipelines.CrawlCnblogsPipeline': 300,
}
   -5 写一个pipline:CrawlCnblogsPipeline
  -open_spider:数据初始化,打开文件,打开数据库链接
       -process_item:真正存储的地方
      -一定不要忘了return item,交给后续的pipline继续使用
       -close_spider:销毁资源,关闭文件,关闭数据库链接

 

3 全站爬取cnblogs文章(scrapy的请求传参)

3.1 request和response对象传递参数

1 在request对象中
Request(url=url, callback=self.parse_detail,meta={'item':item})
2 在response对象中
item=response.meta['item']

3.2 解析出下一页的地址并继续爬取

next='https://www.cnblogs.com'+response.css('.pager a:last-child::attr(href)').extract_first()
print(next)
# yield Request(url=next,callback=self.parse)
yield Request(url=next)

 

4 提高爬取效率

#1 增加并发:
默认scrapy开启的并发线程为32个,可以适当进行增加。在settings配置文件中修改CONCURRENT_REQUESTS = 100值为100,并发设置成了为100。
#2 降低日志级别:
在运行scrapy时,会有大量日志信息的输出,为了减少CPU的使用率。可以设置log输出信息为INFO或者ERROR即可。在配置文件中编写:LOG_LEVEL = ‘INFO’
# 3 禁止cookie:
如果不是真的需要cookie,则在scrapy爬取数据时可以禁止cookie从而减少CPU的使用率,提升爬取效率。在配置文件中编写:COOKIES_ENABLED = False
# 4 禁止重试:
对失败的HTTP进行重新请求(重试)会减慢爬取速度,因此可以禁止重试。在配置文件中编写:RETRY_ENABLED = False
# 5 减少下载超时:
如果对一个非常慢的链接进行爬取,减少下载超时可以能让卡住的链接快速被放弃,从而提升效率。在配置文件中进行编写:DOWNLOAD_TIMEOUT = 10 超时时间为10s

 

5 爬虫中间件和下载中间件

1 爬虫和下载中间件要使用,需要在配置文件中
SPIDER_MIDDLEWARES = {
 'crawl_cnblogs.middlewares.CrawlCnblogsSpiderMiddleware': 5,
}
DOWNLOADER_MIDDLEWARES = {
 'crawl_cnblogs.middlewares.CrawlCnblogsDownloaderMiddleware': 5,
}

 

6 加代理,加cookie,加header,加selenium

0 在下载中间件的process_reqeust方法中
1 加cookie
# request.cookies['name']='lqz'
   # request.cookies= {}
2 修改header
 # request.headers['Auth']='asdfasdfasdfasdf'
     # request.headers['USER-AGENT']='ssss'
3 加代理
 request.meta['proxy']='http://103.130.172.34:8080'
   
   
4 fake_useragent模块,可以随机生成user-aget
   from fake_useragent import UserAgent
       ua = UserAgent()
       print(ua.ie)   #随机打印ie浏览器任意版本
       print(ua.firefox) #随机打印firefox浏览器任意版本
       print(ua.chrome)  #随机打印chrome浏览器任意版本
       print(ua.random)  #随机打印任意厂家的浏览器
       
5 如果process_request返回的是Request对象
-会交给引擎,引擎把请求放到调度中,等待下次被调度
   
   
6 集成selenium
-在爬虫类中类属性
   driver = webdriver.Chrome(executable_path='')
   -在爬虫类中方法:
     def close(spider, reason):
       spider.driver.close()
   -在中间件中的process_reqeust中
   from scrapy.http import HtmlResponse
   spider.driver.get(url=request.url)
      response=HtmlResponse(url=request.url,body=spider.driver.page_source.encode('utf-8'),request=request)
   return response

 

7 去重规则源码分析

1 使用了集合去重
2 默认使用的去重类:
DUPEFILTER_CLASS = 'scrapy.dupefilters.RFPDupeFilter'
3 后期你可以自己写一个类,替换掉内置的去重
-布隆过滤器:极小内存校验是否重复
-https://www.cnblogs.com/xiaoyuanqujing/protected/articles/11969224.html


4 生成指纹,会把下面两种地址生成一样的指纹(本质是把?后面的参数排序,再生成指纹)
www.baidu.com?name=lqz&age=18
www.baidu.com?age=18&name=lqz
#布隆过滤器
# python中使用
#https://www.lfd.uci.edu/~gohlke/pythonlibs/#bitarray
pip3 install bitarray-xx.whl
pip3 install pybloom_live


from pybloom_live import ScalableBloomFilter
bloom = ScalableBloomFilter(initial_capacity=100, error_rate=0.001, mode=ScalableBloomFilter.LARGE_SET_GROWTH)

url = "www.cnblogs.com"

url2 = "www.liuqingzheng.top"

bloom.add(url)

print(url in bloom)

print(url2 in bloom)

 

8 scrapy-redis实现分布式爬虫

1 安装scrapy-redis
2 在原来的基础上,爬虫类继承RedisSpider
class CnblogsSpider(RedisSpider):
name = 'cnblogs_redis'
allowed_domains = ['www.cnblogs.com']
redis_key = 'myspider:start_urls'
3 在setting中配置
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 默认就是本地6379
#REDIS_HOST = 'localhost'
#REDIS_PORT = 6379
ITEM_PIPELINES = {
'scrapy_redis.pipelines.RedisPipeline': 400
}

4 在多台机器上启动scrapy,向redis中插入起始爬取地址
scrapy crawl cnblogs_redis

redis-cli lpush myspider:start_urls https://www.cnblogs.com/
posted @ 2021-06-17 16:35  DEJAVU_ERIC  阅读(434)  评论(0编辑  收藏  举报