爬虫常见问题与解答
--题目--
（1） 列举python网络爬虫所引用的模块包，提取数据用到的模块(至少各2个)
requests、urllib | jsonpath xpath beautifulsoup
（2）浏览器请求某网站时，从输入到页面显示出来，描述一下请求过程
1.敲域名回车
2.查询本地的DNS缓存，以找到域名对应的主机IP地址（若有，则跳到4）
3.查询远程域名根DNS，找到IP地址
4.向远程IP地址的服务器发送请求（若请求失败且未经过2，则返回2，若再再次失败，返回错误代码）
5.服务器响应请求，向用户发送数据
6.浏览器对返回的数据进行处理（浏览器渲染）
7.显示
（3） 爬虫在爬取数据，网站有反爬时如何解决
通过headers反爬虫：解决策略，伪造headers
基于用户行为反爬虫：动态变化去爬取数据，模拟普通用户的行为
基于动态页面的反爬虫：跟踪服务器发送的ajax请求，模拟ajax请求
（4） 如果爬数据时ip被封了，如何解决
1、放慢抓取速度，减小对于目标网站造成的压力。但是这样会减少单位时间类的抓取量。
2、第二种方法是通过设置代理IP等手段，突破反爬虫机制继续高频率抓取。需多个稳定的代理IP
（5）如何解决登录时有验证码的问题，列出你知道的状态码(至少3个)
一、筛选得到隐藏信息
进入开发者工具（按F12），找到其中的Network后，手动的先进行一次登录，找到其中的第一个请求，在Header的底部会有一个data的数据段，这个就是登录所需的信息。如果想对其中的隐藏信息进行修改先获取网页Html的内容
二、将信息进行提交
找到源码中提交表单所需要的action,和method使用
三、获取登录后的信息
信息提交后模拟登录就成功了，接下来就可以获取登录后的信息了，如果有验证码，则提取其中的cookie，请求时携带cookie访问。
状态码：
200 OK：请求成功
301 重定向所请求的页面已经转移至新的url。
403 Forbidden — 对被请求页面的访问被禁止
404 Not Found — 服务器无法找到被请求的页面
500 Internal Server Error — 请求未完成。服务器遇到不可预知的情况
504 Gateway Timeout — 网关超时
（6） 什么是进程 线程 协程
进程拥有自己独立的堆和栈，既不共享堆，亦不共享栈，进程由操作系统调度。
线程拥有自己独立的栈和共享的堆，共享堆，不共享栈，线程亦由操作系统调度(标准线程是的)。
协程和线程一样共享堆，不共享栈，协程由程序员在协程的代码里显示调度。
参考网址： https://blog.csdn.net/hairetz/article/details/16119911
（7）自动化测试工具用什么包，如何使用有什么功能
selenium+phantomJS 一个是自动化测试工具，一个是无界面的浏览器，他俩配合可以模拟一个用户
鼠标点击浏览器的动作，从而在其中获取到相应数据
（8） scrapy中的pipeline 有什么作用
pipeline(管道)：它负责处理spider中获取item，并进行后期处理（如过滤，存储）
（9）模拟抓取某网站的第一页，输出匹配公告名字
要求：网址：baseurl，匹配：title
import urllib.request import re def fetch(baseUrl): # 第1步：模拟浏览器发送请求 data = urllib.request.urlopen(baseUrl).read() #二进制字节形式 data = data.decode('utf-8') # 第2步：页面返回后，利用正则表达式提取想要的内容 nameList=[] nameList = re.compile(r'target="_blank" title="(.*?)"',re.S).search(data) # 第3步：返回在页面上析取的“标题名” return nameList ####### 执行 ######## if __name__ =="__main__": #要抓取的网页地址 url = "http://www.sxszbb.com/sxztb/jyxx/001001/MoreInfo.aspx?CategoryNum=001001" #存放到名字列表中 NameList = fetch(url) # 输出 NameList Length = len(NameList) for i in range(0, Length): print("标题名%d:%s\n"%(i+1, NameList[i]))
