摘要: 引用官网( "https://docs.scrapy.org/en/latest/topics/architecture.html" )的一张图: Scrapy的数据流是由执行引擎控制的,具体流程如上图的红圈数字所示: 1.引擎(Engine)从爬虫程序(Spider)获取要抓取的初始请求(Requ 阅读全文
posted @ 2019-07-18 09:43 gkimeeq 阅读(333) 评论(0) 推荐(0) 编辑
摘要: 1.安装 在Linux CentOS 6.10下可以这样安装: 2.简单导入 3._ElementInterface类 4.Element工厂 5.ElementTree类 6.SubElement工厂 7.一些函数 8.简单的使用演示 阅读全文
posted @ 2019-07-17 13:16 gkimeeq 阅读(243) 评论(0) 推荐(0) 编辑
摘要: XPath是在XML文档中查找信息的语言,可对元素和属性进行遍历。 利用以下的XML内容。 1.节点关系 2.节点选取 | 表达式 | 说明 | 例子 | 例子的结果说明 | | : : | : | : | : | | nodename | 节点的所有子节点 | bookshop | booksho 阅读全文
posted @ 2019-07-16 09:57 gkimeeq 阅读(182) 评论(0) 推荐(0) 编辑
摘要: 1.安装Beautiful Soup4 2.Linux CentOS 6.10安装lxml Beautiful Soup支持一些第三方的解析器,如果不安装第三方的,则默认会用Python标准库中的HTML解析器。lxml解析器更加强大,速度更快,因此安装。 3.解析器对比 | 解析器 | 用法 | 阅读全文
posted @ 2019-07-15 17:28 gkimeeq 阅读(172) 评论(0) 推荐(0) 编辑
摘要: 1.安装requests 2.基本请求 3.异常 4.请求会话 5.下层类 6.更下层类 7.身份验证类 8.编码 9.Cookies 10.状态码 11.例子演示 阅读全文
posted @ 2019-07-12 15:51 gkimeeq 阅读(219) 评论(0) 推荐(0) 编辑
摘要: 1.语法规则 在Python里,定义正则表达式的字符串,在字符串前加 ,表示原始字符串,可以免去很多烦人的转义,如 与`'\\'`是表示同一个字符串。 | 语法| 说明 | 实例 | 完整匹配的字符串 | | | | | | | 一般字符 | 匹配字符自身 | abc | abc | | . | 匹 阅读全文
posted @ 2019-07-11 15:25 gkimeeq 阅读(552) 评论(0) 推荐(0) 编辑
摘要: 1.简单爬取一个页面 2.通过构造Request请求对象 3.POST和GET数据传送 4.设置Headers Header的一些属性说明: User Agent:通过该值来判断是否为浏览器发出的请求。 Content Type:使用REST接口时,服务器会检查此值来确定Body中的内容要怎样解析。 阅读全文
posted @ 2019-07-10 13:45 gkimeeq 阅读(604) 评论(0) 推荐(0) 编辑
摘要: 源码可于github下载: "https://github.com/gkimeeq/PythonLearning" 。 阅读全文
posted @ 2019-07-10 09:00 gkimeeq 阅读(219) 评论(0) 推荐(0) 编辑
摘要: 源码可于github下载: "https://github.com/gkimeeq/PythonLearning" 。 阅读全文
posted @ 2019-07-09 10:43 gkimeeq 阅读(120) 评论(0) 推荐(0) 编辑
摘要: Origin C访问Excel的流程跟访问Word差不多,可以参考 "Origin C访问Word" 。 这里简单的演示怎样把Excel中的数据导入到Origin的工作表,用到的Excel文件位于Origin的安装目录下 ,数据区域为 。 具体代码如下: void Origin_Access_Exc 阅读全文
posted @ 2019-07-03 09:46 gkimeeq 阅读(324) 评论(0) 推荐(0) 编辑