摘要: 加括号是调用函数,不加括号是指的是函数地址,此处只需要传入函数的地址,等待程序到时调用即可 阅读全文
posted @ 2020-02-20 18:16 徐阶 阅读(926) 评论(0) 推荐(0) 编辑
摘要: 1.xpath返回的是一个列表 2.调用Selector对象的extract方法将返回选中内容的Unicode字符串 SelectorList对象调用extract_first() 方法会返回其中第一个Selector对象调用extract方法的结果 Selector对象可以通过调用re()方法使用 阅读全文
posted @ 2020-02-20 18:11 徐阶 阅读(245) 评论(0) 推荐(0) 编辑
摘要: user agent是指用户代理,简称 UA。 作用:使服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。 网站常常通过判断 UA 来给不同的操作系统、不同的浏览器发送不同的页面。但当我们使用爬虫程序时,当我们对一个页面频繁请求时,同一个U 阅读全文
posted @ 2020-02-20 17:43 徐阶 阅读(590) 评论(0) 推荐(0) 编辑