摘要：
一、Ajax数据爬取 1. 简介：Ajax 全称Asynchronous JavaScript and XML 异步的Javascript和XML。 它不是一门编程语言，而是利用JavaScript在保证页面不被刷新，页面链接不改变的情况下与服务器交换数据，获得数据后，再利用JavaScript改变 阅读全文
摘要：
非关系型数据库存储 NoSQL 全称 Not Only SQL 意为非SQL 泛指非关系型数据库。基于键值对 不需要经过SQL层解析 数据之间没有耦合性 性能非常高。 非关系型数据库可细分如下： 对于爬虫的数据存储来说，一条数据可能存在某些字段提取失败而缺失的情况，而且数据可能随时调整。如果使用关系 阅读全文
摘要：
关系型数据库存储 关系型数据库是基于关系模型的数据库，而关系模型是通过二维表保存的，所以它的存储方式就是行列组成的表。每一列是一个字段，每一行是一条记录。表可以看作某个实体的集合，而实体之间存在联系，就需要表与表之间的关联关系来体现。例如 主键和外键的关联关系，多个表组成一个数据库，也就是关系型数据 阅读全文
摘要：
3.CSV文件存储 CSV 全称 Comma-Separated Values 中文叫做逗号分隔值或者字符分隔值，文件以纯文本形式存储表格数据。文件是一个字符序列 可以由任意数目的记录组成相当于一个结构化表的纯文本形式，它比Excel更加简洁，XLS文本是电子表格，包含文本，数值，公式和格式等内容， 阅读全文
摘要：
2.JSON文件存储 全称为JavaScript Object Notation 通过对象和数组的组合来表示数据，构造简洁且结构化程度非常高。是一种轻量级的数据交换格式 2.1 对象和数组 在JavaScript中 一切皆对象。 因此任何类型都可以通过json来表示，如 字符串，数字，对象，数组等 阅读全文
摘要：
数据存储 用解析器解析出数据之后，就是存储数据了。保存的形式可以多种多样，最简单的形式是直接保存为文本文件，如TXT JSON CSV等。另外还可以保存到数据库中，如关系型数据库MySQL 非关系型数据库MongoDB Redis等 一、文件存储 1.TXT文本存储 将数据保存到TXT文本的操作非常 阅读全文
摘要：
三、pyquery 简介：同样是一个强大的网页解析工具 它提供了和jQuery类似的语法来解析HTML文档，支持CSS选择器，使用非常方便 安装： 验证： 初始化时 也需要传入HTML文本 初始化一个PyQuery对象 初始化方式有多种 例如直接传入字符串，传入URL，传入文件名等等。 1. 字符串 阅读全文
摘要：
二、Beautiful Soup 简介 就是python的一个HTML或XML的解析库 可以用它来很方便的从网页中提取数据 0.1 提供一些简单的 python式的函数来处理导航，搜索，修改分析树等功能， 它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一 阅读全文
摘要：
一、XPath 全称 XML Path Language 是一门在XML文档中 查找信息的语言 最初是用来搜寻XML文档的 但是它同样适用于HTML文档的搜索 XPath 的选择功能十分强大，它提供了非常简洁的路径选择表达式，另外还提供了超过100个内置函数，用于字符串，数值，时间的匹配以及节点和序 阅读全文
摘要：
利用requests库和正则表达式 抓取猫眼电影TOP100 （requests比urllib使用更方便，由于没有学习HTML系统解析库 选用re） 1.目标 抓取电影名称 时间 评分 图片等 url http://maoyan.com/board/4 结果以文件形式保存 2.分析 offset 代 阅读全文