摘要：
一 . pyMySQL 阅读全文
摘要：
一 . Matplotlib基础知识 导包,本处只导入一次,接下来就直接用啦! 小例子 将多个曲线图绘制在一个table区域中:对象形式创建表图 坐标轴界限 设置画布比例:plt.figure(figsize=(a,b)) 坐标轴的标签 牛刀小试 图例 小案例 使用figure对象的savefig函 阅读全文
摘要：
一 . 级联 我们上次说过一个级联,numpy.concatenate, 接下来讲的级联和这个类似,只是多了一些参数而已! 正常操作,先倒包,后面就不在导包了 1. 使用pandas.concat()级联 匹配级联 pandas.merge() 合并 合并实操 df.sort.index() # 按 阅读全文
摘要：
一 . 简单的股票分析 导包 可以去帮助文档看tushare的用法 把数据写到文件里 输出该股票所有收盘比开盘上涨3%以上的日期 让数据向后推一个 输出该股票所有开盘比前日收盘跌幅超过2%的日期 假如我从2010年1.1日开始,每月第一个交易日买入1手股票,每年最后一个交易日卖出所有的股票,到今天为 阅读全文
摘要：
一 . numpy 1. 创建ndarray 1.1 使用matplotlib.pyplot获取一个numpy数组,数据来源一张图片 1.2 numpy的一些用法(下面就默认已经导入了numpy啦) 2. ndarry的属性 3. ndarray的基本操作 3.1 索引 (一维与列表一样,多维同理) 阅读全文
摘要：
一 . crawlSpider 1. 上次了一种爬取全站数据是基于Scrapy框架中的Spider的递归爬取进行实现(Requests模块递归回调parse方法). 2. 现在在讲介绍一种比较好用的方法:基于CrawlSpider的自动爬取进行实现(更加的简洁高效). crawlSpider的简介 阅读全文
摘要：
一 . 先了解一下scrapy五大组件的工作流程 二 . 中间件的应用 从上图可以看出来,scrapy的工作流程中有两个中间件,分别是spider中间件,一个是Downloader中间件 这里我们先介绍一下Downloader中间件 爬虫文件(middle.py) middlewares.py 1 阅读全文
摘要：
一 . scrapy框架的基本应用 安装步骤: 创建项目步骤: 打开爬虫文件 基于终端存储 执行这个文件 基于管道存储 爬虫文件(xiaohua.py) pipelines.py items.py 然后在终端执行 scrapy crawl xiaohua 就可以啦! 二 . 全站数据的请求 比如你想 阅读全文
摘要：
一 . 线程池和进程池 可以适当的使用,在大量的IO情况下有更好的方法 二 . 单线程+异步协程(高性能的异步爬虫) 事件循环 task future 绑定回调 多任务异步协程(这里需要用到一个新模块aiohttp,一定不能是requests,因为requests是一个非异步模块) pip inst 阅读全文
摘要：
一 . 图片懒加载技术 案例分析：抓取站长素材http://sc.chinaz.com/中的图片数据 运行结果发现,我们可以获取到图片名称,但是获取到的链接为空,这就是图片懒加载的原因 图片懒加载的概念: 网站一般实现图片懒加载的技术 通过细致观察页面的结构后发现，网页中图片的链接是存储在了src2 阅读全文