2018年7月17日
Python爬虫【四】Scrapy+Cookies池抓取新浪微博
摘要： 1.设置ROBOTSTXT_OBEY，由true变为false 2.设置DEFAULT_REQUEST_HEADERS，将其改为request headers 3.根据请求链接，发出第一个请求，设置一个start_request方法，并在方法中定义相关的配置,比如在本例中设置搜索的关键字keyword 4.接下来定义一个链接，也就是start_url，本例中改为search_url,其中把bas... 阅读全文
posted @ 2018-07-17 18:41 bep_code 阅读(2642) 评论(3) 推荐(0) 编辑