摘要: Infi-chu: http://www.cnblogs.com/Infi-chu/ 一、重要概念 二、爬虫反爬虫进化论 阅读全文
posted @ 2018-05-02 17:44 Infi_chu 阅读(617) 评论(0) 推荐(0) 编辑
摘要: Infi-chu: http://www.cnblogs.com/Infi-chu/ 一、非关系型数据库NoSQL全程是Not Only SQL,非关系型数据库。NoSQL是基于键值对的,不需要经过SQL层的解析,数据之间没有耦合性,性能非常高。具体介绍请看(也包括Redis) http://www 阅读全文
posted @ 2018-05-02 14:32 Infi_chu 阅读(679) 评论(0) 推荐(0) 编辑
摘要: Infi-chu: http://www.cnblogs.com/Infi-chu/ 关系型数据库关系型数据库是基于关系模型的数据库,而关系模型是通过二维表来保存的,所以关系型数据库的存储方式就是行列组成的表。每一列是一个字段,每一行是一条记录。表可以看成是摸个实体的集合,而实体之间存在关系,比如主 阅读全文
posted @ 2018-05-02 12:50 Infi_chu 阅读(936) 评论(0) 推荐(0) 编辑
摘要: Infi-chu: http://www.cnblogs.com/Infi-chu/ TXT文本存储 TXT文本存储,方便,简单,几乎适用于任何平台。但是不利于检索。 1.举例: 使用requests获得网页源代码,然后使用pyquery解析库解析 2.打开方式: r rb r+ rb+ w wb 阅读全文
posted @ 2018-05-02 10:56 Infi_chu 阅读(2236) 评论(1) 推荐(1) 编辑
摘要: Infi-chu: http://www.cnblogs.com/Infi-chu/ Beautiful Soup 借助网页的结构和属性等特性来解析网页,这样就可以省去复杂的正则表达式的编写。 Beautiful Soup是Python的一个HTML或XML的解析库。 1.解析器 解析器 使用方法 阅读全文
posted @ 2018-05-02 01:22 Infi_chu 阅读(838) 评论(0) 推荐(0) 编辑