随笔分类 - 爬虫
摘要:一、简介 1、什么是XPath 1)XPath是W3C的一个标准 2)XPath 是一门在 XML 文档中查找信息的语言。 3)XPath 用于在 XML 文档中通过元素和属性进行导航。 4)XPath 使用路径表达式在 XML 文档中进行导航 5)XPath 包含一个标准函数库 2、XPath 节
阅读全文
摘要:一、爬虫基本原理 1、爬虫是什么 2、爬虫的基本流程 3、请求与响应 4、requests模块 引子:使用request模块进行请求时需要注意4点:请求方式,请求url,请求头和请求体。 1)基于GET请求 a、基本请求 b、带参数的GET请求->params #在请求头内将自己伪装成浏览器,否则百
阅读全文