摘要：
在Jupyter Notebook中对pandas数据进行分析处理的时候都能够以表格的形式呈现，非常美观，但是在pycharm中呈现的的结果则比较零散，找了很久，终于找到了PrettyTable库，能够对pycharm的输出结果以列表的形式呈现。 prettytable相关介绍：https://qu 阅读全文
摘要：
由于PhantomJS已经停止更新，所以使用chrome浏览器的headless模式代替，代码如下： 爬取淘宝的代码： 别人的代码： 崔老师的代码： 其他人帮助的代码 自己的代码： 阅读全文
摘要：
在前面一章我们了解了 Ajax 的分析和抓取方式，这种页面其实也是 JavaScript 动态渲染的页面的一种情形，通过直接分析 Ajax 我们仍然可以借助于 Requests 或 Urllib 来实现数据的抓取。 不过 JavaScript 动态渲染的页面不止 Ajax 这一种。比如中国青年网：h 阅读全文
摘要：
参考：https://germey.gitbooks.io/python3webspider/content/6-Ajax%E6%95%B0%E6%8D%AE%E7%88%AC%E5%8F%96.html Ajax数据爬取的原因 有时候我们在用 Requests 抓取页面的时候，得到的结果可能和在浏 阅读全文
摘要：
参考：https://germey.gitbooks.io/python3webspider/content/5.3.2-Redis%E5%AD%98%E5%82%A8.html Redis 是一个基于内存的高效的键值型非关系型数据库，存取效率极高，而且支持多种存储数据结构，使用也非常简单，在本节我 阅读全文
摘要：
MongoDB的安装 教程：https://www.bilibili.com/video/av31240330?from=search&seid=2653908327394008284 https://germey.gitbooks.io/python3webspider/content/1.4.3 阅读全文
摘要：
非关系型数据库简介 NoSQL，全称 Not Only SQL，意为不仅仅是 SQL，泛指非关系型的数据库。NoSQL 是基于键值对的，而且不需要经过 SQL 层的解析，数据之间没有耦合性，性能非常高。 非关系型数据库又可以细分如下： 键值存储数据库，代表有 Redis, Voldemort, Or 阅读全文
摘要：
关系型数据库基于关系模型的数据库，而关系模型是通过二维表来保存的，所以它的存储方式就是行列组成的表，每一列是一个字段，每一行是一条记录。表可以看作是某个实体的集合，而实体之间存在联系，这就需要表与表之间的关联关系来体现，如主键外键的关联关系，多个表组成一个数据库，也就是关系型数据库。 关系型数据库有 阅读全文
摘要：
1、CSV简介 CSV，全称叫做 Comma-Separated Values，中文可以叫做逗号分隔值或字符分隔值，其文件以纯文本形式存储表格数据。该文件是一个字符序列，可以由任意数目的记录组成，记录间以某种换行符分隔，每条记录由字段组成，字段间的分隔符是其它字符或字符串，最常见的是逗号或制表符，不 阅读全文
摘要：
以下文字介绍主要引用崔庆才老师文章：https://germey.gitbooks.io/python3webspider/content/5.1.2-Json%E6%96%87%E4%BB%B6%E5%AD%98%E5%82%A8.html JSON简介 Json，全称为 JavaScript O 阅读全文