摘要:
非关系型数据库存储 NoSQL 全称 Not Only SQL 意为非SQL 泛指非关系型数据库。基于键值对 不需要经过SQL层解析 数据之间没有耦合性 性能非常高。 非关系型数据库可细分如下: 对于爬虫的数据存储来说,一条数据可能存在某些字段提取失败而缺失的情况,而且数据可能随时调整。如果使用关系 阅读全文
摘要:
关系型数据库存储 关系型数据库是基于关系模型的数据库,而关系模型是通过二维表保存的,所以它的存储方式就是行列组成的表。每一列是一个字段,每一行是一条记录。表可以看作某个实体的集合,而实体之间存在联系,就需要表与表之间的关联关系来体现。例如 主键和外键的关联关系,多个表组成一个数据库,也就是关系型数据 阅读全文
摘要:
3.CSV文件存储 CSV 全称 Comma-Separated Values 中文叫做逗号分隔值或者字符分隔值,文件以纯文本形式存储表格数据。文件是一个字符序列 可以由任意数目的记录组成相当于一个结构化表的纯文本形式,它比Excel更加简洁,XLS文本是电子表格,包含文本,数值,公式和格式等内容, 阅读全文
摘要:
2.JSON文件存储 全称为JavaScript Object Notation 通过对象和数组的组合来表示数据,构造简洁且结构化程度非常高。是一种轻量级的数据交换格式 2.1 对象和数组 在JavaScript中 一切皆对象。 因此任何类型都可以通过json来表示,如 字符串,数字,对象,数组等 阅读全文
摘要:
数据存储 用解析器解析出数据之后,就是存储数据了。保存的形式可以多种多样,最简单的形式是直接保存为文本文件,如TXT JSON CSV等。另外还可以保存到数据库中,如关系型数据库MySQL 非关系型数据库MongoDB Redis等 一、文件存储 1.TXT文本存储 将数据保存到TXT文本的操作非常 阅读全文
摘要:
三、pyquery 简介:同样是一个强大的网页解析工具 它提供了和jQuery类似的语法来解析HTML文档,支持CSS选择器,使用非常方便 安装: 验证: 初始化时 也需要传入HTML文本 初始化一个PyQuery对象 初始化方式有多种 例如直接传入字符串,传入URL,传入文件名等等。 1. 字符串 阅读全文
摘要:
二、Beautiful Soup 简介 就是python的一个HTML或XML的解析库 可以用它来很方便的从网页中提取数据 0.1 提供一些简单的 python式的函数来处理导航,搜索,修改分析树等功能, 它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一 阅读全文