05 2018 档案

8 pandas模块，多层索引
摘要：1 创建多层索引 1）隐式构造 最常见的方法是给DataFrame构造函数的index参数传递两个或更多的数组 · Series也可以创建多层索引 一般情况下，两层索引就够用了 2）显式构造 pd.MultiIndex · 使用数组 · 使用tuple · 使用product 最简单，推荐使用 2 阅读全文
posted @ 2018-05-25 08:39 Avention 阅读(461) 评论(0) 推荐(0)
7 numpy 傅里叶，提取图片轮廓
摘要：任务：提取照片中轮廓 本次处理图片：我的女神之一 江一燕 导入模块： #jyy.show() 会打开本地图片浏览器 使用傅里叶反转 获取实部，舍弃虚部 去除小数部分 将一维数组，通过Image进行转换成图片 任务：提取照片中轮廓 本次处理图片：我的女神之一 江一燕 导入模块： #jyy.show() 阅读全文
posted @ 2018-05-23 17:29 Avention 阅读(324) 评论(0) 推荐(0)
6 DataFrame处理丢失数据--数据清洗
摘要：处理丢失数据 有两种丢失数据： · None · np.nan(NaN) 1 None None是Python自带的，其类型为Python object。因此，None不能参与到任何计算中。 object类型的运算要比int类型的运算慢得多 计算不同数据类型求和时间 2 np.nan（NaN） np 阅读全文
posted @ 2018-05-23 16:10 Avention 阅读(421) 评论(0) 推荐(0)
5 pandas模块，DataFrame类
摘要：DataFrame DataFrame是一个【表格型】的数据结构，可以看作是【由Series组成的字典】（共用同一个索引）。DataFrame由一定顺序排列的多列数据组成。设计初衷是将Series的使用场景从一维扩展到多维。DataFrame既有行索引，也有列索引。 · 行索引：index · 列索 阅读全文
posted @ 2018-05-23 09:15 Avention 阅读(296) 评论(0) 推荐(0)
4 pandas模块，Series类
摘要：对gtx图像进行操作，使用numpy知识 如果让gtx这张图片在竖直方向上进行颠倒。 如果让gtx这张图片左右颠倒呢？ 如果水平和竖直方向都要颠倒呢？ 如果需要将gtx的颜色改变一下呢？ 每隔5行数据取一行，列全取，显示的图片会如何呢？图片只剩一部分了 每隔5列取一列，行全取，显示的图片会如何？ 马 阅读全文
posted @ 2018-05-20 15:29 Avention 阅读(499) 评论(0) 推荐(0)
3 numpy模块
摘要：Numpy 什么是Numpy：Numeric Python Numpy模块是Python的一种开源的数值计算扩展。 1 一个强大的N维数组对象Array 2 比较成熟的（广播）函数库 3 用于整合（C/C++）和Fortran代码的工具包 4 实用的线性代数、傅里叶变换和随机数生成函数 5 nump 阅读全文
posted @ 2018-05-20 14:19 Avention 阅读(289) 评论(2) 推荐(0)
2 线性代数基础
摘要：转自： https://blog.csdn.net/longxinchen_ml/article/details/51629328 1基本概念和符号 线性代数可以对一组线性方程进行简洁地表示和运算。例如，对于这个方程组: 这里有两个方程和两个变量，如果你学过高中代数的话，你肯定知道，可以为x1 和x 阅读全文
posted @ 2018-05-18 21:21 Avention 阅读(1096) 评论(0) 推荐(0)
1 Ipython、Jupyter 入门
摘要：为什么使用Python进行数据分析： 1 Python大量的库为数据分析和处理提供了完整的工具集 2 比起R和Matlab等其他主要用于数据分析的编程语言，Python更全能 3 Python库一直在增加，算法的实现采用更具有创新性的方法 4 Python能和很多语言对接，例如高效的C语言 什么是I 阅读全文
posted @ 2018-05-17 16:25 Avention 阅读(6020) 评论(0) 推荐(0)
9.3.4 BeaufitulSoup4
摘要：BeautifulSoup 是一个非常优秀的Python扩展库，可以用来从HTML或XML文件中提取我们感兴趣的数据，并且允许指定使用不同的解析器。 使用 pip install BeaufifulSoup4 直接进行模块的安装。安装之后应使用 from bs4 import BeautifulSo 阅读全文
posted @ 2018-05-04 21:29 Avention 阅读(451) 评论(0) 推荐(0)
9.3.3 scrapy 框架
摘要：scrapy是一个非常好用的Web爬虫框架，非常适合抓取Web站点从网页中提取结构化的数据，并且支持自定义的需求。在使用scrapy爬取网页数据时，除了熟悉HTML标签，还需要了解目标网页的数据组织结构，确定要爬取什么信息，这样才能针对性地编写爬虫程序。 使用pip命令安装好scrapy扩展库。在安 阅读全文
posted @ 2018-05-04 16:57 Avention 阅读(193) 评论(0) 推荐(0)
9.3.2 网页爬虫
摘要：网页爬虫常用来在互联网上爬取感兴趣的页面或文件，结合数据处理与分析技术可以得到更深层次的信息。下面的代码实现了网页爬虫，可以抓取指定网页中的所有链接，并且可以指定关键字和抓取深度。 阅读全文
posted @ 2018-05-04 15:27 Avention 阅读(274) 评论(0) 推荐(0)
9.3 域名解析与网页爬虫
摘要：Python 3.x 标准库 urllib提供了 rullib.request、urllib.response、urllib.parse 和 urllib.error 4个模块，很好地支持了网页内容读取功能。 下面的代码演示了如何读取并显示指定网页的内容。 下面的代码演示了如何使用GET方法读取并显 阅读全文
posted @ 2018-05-03 11:22 Avention 阅读(469) 评论(0) 推荐(0)
百度搜索引擎关键字URL采集爬虫优化行业定投方案高效获得行业流量-代码篇
摘要：需要结合：《百度搜索引擎关键字URL采集爬虫优化行业定投方案高效获得行业流量--笔记篇》 一起看。 整理后的代码： 阅读全文
posted @ 2018-05-02 17:56 Avention 阅读(2922) 评论(0) 推荐(0)
百度搜索引擎关键字URL采集爬虫优化行业定投方案高效获得行业流量-笔记篇
摘要：需要结合：《百度搜索引擎关键字URL采集爬虫优化行业定投方案高效获得行业流量-代码篇》一起学习 #百度搜索引擎关键字URL采集爬虫优化行业定投方案高效获得行业流量 #知识点 ''' 1 网络爬虫 2 Python开发网络爬虫 3 requests库 4 文件操作 ''' #项目结构 ''' key. 阅读全文
posted @ 2018-05-02 17:47 Avention 阅读(496) 评论(1) 推荐(0)