摘要： 一什么是爬虫和反爬虫？ 爬虫：使用任何技术手段，批量获取网站信息的一种方式。 反爬虫：使用任何技术手段，阻止别人批量获取自己网站信息的一种方式。 二 Headers and referer 反爬机制 *headers进行反爬是最常见的反爬虫策略。 *还有一些网站会对 Referer （上级链接）进行 阅读全文

摘要： 基本使用 # 一般以pd作为pandas的缩写 import pandas as pd # 读取文件 df = pd.read_csv('file.csv') # 返回数据的大小 df.shape # 显示数据的一些对象信息和内存使用 df.info() # 显示数据的统计量信息 df.descri 阅读全文

摘要： https://www.chromedownloads.net/chrome64win/ 阅读全文

摘要： 1. 遇到ImortError:DLL load failed:找不到模块问题，折腾了一天查了网上各种资料，下了各种各样的包，最后发现还是环境没有配到位，我只配了C:\ProgramData\Anaconda3\Scripts; 解决办法：这三个路径都要配到PATH中。 2. 依次在cmd中输入以下 阅读全文

摘要： 一.增量式爬虫 概念：通过爬虫程序监测某网站数据更新的情况，以便可以爬取到该网站更新出的新数据。 如何进行增量式的爬取工作： 在发送请求之前判断这个URL是不是之前爬取过 在解析内容后判断这部分内容是不是之前爬取过 写入存储介质时判断内容是不是已经在介质中存在 分析： 不难发现，其实增量爬取的核心是 阅读全文

摘要： 一.简介 CrawlSpider其实是Spider的一个子类，除了继承到Spider的特性和功能外，还派生除了其自己独有的更加强大的特性和功能。其中最显著的功能就是”LinkExtractors链接提取器“。Spider是所有爬虫的基类，其设计原则只是为了爬取start_url列表中网页，而从爬取到 阅读全文

摘要： 重写爬虫文件的构造方法，在该方法中使用selenium实例化一个浏览器对象（因为浏览器对象只需要被实例化一次） 重写爬虫文件的closed(self,spider)方法，在其内部关闭浏览器对象。该方法是在爬虫结束时被调用 重写下载中间件的process_response方法，让该方法对响应对象进行拦 阅读全文

摘要： 二.UA池：User-Agent池 - 作用：尽可能多的将scrapy工程中的请求伪装成不同类型的浏览器身份。 - 操作流程： 1.在下载中间件中拦截请求 2.将拦截到的请求的请求头信息中的UA进行篡改伪装 3.在配置文件中开启下载中间件 代码展示： #导包 from scrapy.contrib. 阅读全文

摘要： 一.Scrapy的日志等级 - 在使用scrapy crawl spiderFileName运行程序时，在终端里打印输出的就是scrapy的日志信息。 - 日志信息的种类： ERROR ： 一般错误 WARNING : 警告 INFO : 一般的信息 DEBUG ： 调试信息 - 设置日志信息指定输 阅读全文

摘要： 今日详情 1.递归爬取解析多页页面数据 - 需求：将糗事百科所有页码的作者和段子内容数据进行爬取切持久化存储 - 需求分析：每一个页面对应一个url，则scrapy工程需要对每一个页码对应的url依次发起请求，然后通过对应的解析方法进行作者和段子内容的解析。 实现方案： 1.将每一个页码对应的url 阅读全文