摘要：
Numpy 简介 数据分析三剑客：Numpy，Pandas，Matplotlib NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。 numpy是基于c语言开发，所以这使得numpy的运行速度 阅读全文
摘要：
什么是Jupyter Notebook？ 简介 Jupyter Notebook是基于网页的用于交互计算的应用程序。其可被应用于全过程计算：开发、文档编写、运行代码和展示结果。 Jupyter Notebook官方 简而言之，Jupyter Notebook是以网页的形式打开，可以在网页页面中直接编 阅读全文
摘要：
Scrapy介绍 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。 Scrapy 使用了 Twisted异步网络框架来处理网络通讯，可以加 阅读全文
摘要：
引入 在这里我们来看一下Python3下MongoDB的存储操作，在本节开始之前请确保你已经安装好了MongoDB并启动了其服务，另外安装好了Python的PyMongo库。 MongoDB 数据库安装与介绍可以查看之前的 MongoDB 教程。 安装 使用pymongo 一，连接MongoClie 阅读全文
摘要：
MongoDB简介 MongoDB使用C++语言编写的非关系型数据库。特点是高性能、易部署、易使用，存储数据十分方便 主要特征 SQL和NoSQL对比 win10安装 下载：官方地址 配置变量：安装路径为D:\MongoDB，将D:\MongoDB\bin目录加入环境变量 MongoDB支持的数据类 阅读全文
摘要：
引入 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 官网：http://selen 阅读全文
摘要：
一，正则表达式解析 re正则就不写了，前面已经写入一篇很详细的正则表达式模块了~ 而且，在爬虫中，下面两种方式用的多一些~ 正则表达式：https://www.cnblogs.com/peng104/p/9619801.html 大致用法： 二，Xpath解析 简介及安装 简介：XPath 是一门在 阅读全文
摘要：
引入 在学习爬虫之前可以先大致的了解一下HTTP协议~ HTTP协议：https://www.cnblogs.com/peng104/p/9846613.html 爬虫的基本流程 简介 简介：Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议 阅读全文
摘要：
引入 Docker是什么? Docker 最初是 dotCloud 公司创始人 Solomon Hykes 在法国期间发起的一个公司内部项目，于 2013 年 3 月以 Apache 2.0 授权协议开源，主要项目代码在 GitHub 上进行维护。Docker 使用 Google 公司推出的 Go 阅读全文
摘要：
引入 简介 saltstack是由thomas Hatch于2011年创建的一个开源项目，设计初衷是为了实现一个快速的远程执行系统。 早期运维人员会根据自己的生产环境来写特定脚本完成大量重复性工作，这些脚本复杂且难以维护。系统管理员面临的问题主要是1、系统配置管理，2、远程执行命令，因此诞生了很多开 阅读全文