摘要：
简介 pandas是一个强大的Python数据分析的工具包，它是基于Numpy构建的，正因pandas的出现，让Python语言也成为使用最广泛而且强大的数据分析环境之一。 Pandas的主要功能： 具备对其功能的数据结构DataFrame，Series 集成时间序列功能 提供丰富的数学运算和操作 阅读全文
摘要：
简介 Numpy是高性能科学计算和数据分析的基础包。它也是pandas等其他数据分析的工具的基础，基本所有数据分析的包都用过它。NumPy为Python带来了真正的多维数组功能，并且提供了丰富的函数库处理这些数组。它将常用的数学函数都支持向量化运算，使得这些数学函数能够直接对数组进行操作，将本来需要 阅读全文
摘要：
数据分析是什么 数据就是信息，而数据分析就是可以让我们发挥这些信息功能的重要手段。 "数据是21世纪的石油" 来自一位阿里P7 数据分析能干什么 对于数据分析能干什么其实我们可以简单的举几个例子： 1、淘宝可以观察用户的购买记录、搜索记录以及人们在社交媒体上发布的内容选择商品推荐 2、股票可以根据相 阅读全文
摘要：
区别于C/C++中的指针，Go语言中的指针不能进行偏移和运算，是安全指针。 要搞明白Go语言中的指针需要先知道3个概念：指针地址、指针类型和指针取值。 概念 任何程序数据载入内存后，在内存都有他们的地址，这就是指针。而为了保存一个数据在内存中的地址，我们就需要指针变量。 比如，“人生苦短,Let's 阅读全文
摘要：
介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Scrapy的Scheduler，让新的Scheduler 阅读全文
摘要：
介绍 MongoDB是一款强大、灵活、且易于扩展的通用型数据库 易用性 MongoDB是一个面向文档（document-oriented）的数据库，而不是关系型数据库。 不采用关系型主要是为了获得更好得扩展性。当然还有一些其他好处，与关系数据库相比，面向文档的数据库不再有“行“（row）的概念取而代 阅读全文
摘要：
函数是组织好的、可重复使用的、用于执行指定任务的代码块。本文介绍了Go语言中函数的相关内容。 介绍 Go语言中支持函数、匿名函数和闭包，并且函数在Go语言中属于“一等公民”。 函数可以赋值给变量 函数可以被当做参数传入函数 函数可以被调用 函数定义 Go语言中定义函数使用func关键字，具体格式如下 阅读全文
摘要：
介绍 官方文档 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 from selen 阅读全文
摘要：
了解Beautiful Soup 中文文档： Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式 安装 beautifulsoup4 >: pip install beautifulsoup4 解 阅读全文
摘要：
Go语言中提供的映射关系容器为map，其内部使用散列表（hash）实现。 map是一种无序的基于key-value的数据结构，Go语言中的map是引用类型，必须初始化才能使用。 map内的键值对是无序的 map定义 Go语言中 map的定义语法如下： map[KeyType]ValueType Ke 阅读全文