05 2019 档案

pymysql
摘要：一 . pyMySQL 阅读全文
posted @ 2019-05-31 10:15 一个很善良的抱爱 阅读(100) 评论(0) 推荐(0)
Matplotlib
摘要：一 . Matplotlib基础知识 导包,本处只导入一次,接下来就直接用啦! 小例子 将多个曲线图绘制在一个table区域中:对象形式创建表图 坐标轴界限 设置画布比例:plt.figure(figsize=(a,b)) 坐标轴的标签 牛刀小试 图例 小案例 使用figure对象的savefig函 阅读全文
posted @ 2019-05-27 13:33 一个很善良的抱爱 阅读(272) 评论(0) 推荐(0)
级联,映射
摘要：一 . 级联 我们上次说过一个级联,numpy.concatenate, 接下来讲的级联和这个类似,只是多了一些参数而已! 正常操作,先倒包,后面就不在导包了 1. 使用pandas.concat()级联 匹配级联 pandas.merge() 合并 合并实操 df.sort.index() # 按 阅读全文
posted @ 2019-05-27 11:07 一个很善良的抱爱 阅读(527) 评论(0) 推荐(0)
处理丢失数据
摘要：一 . 简单的股票分析 导包 可以去帮助文档看tushare的用法 把数据写到文件里 输出该股票所有收盘比开盘上涨3%以上的日期 让数据向后推一个 输出该股票所有开盘比前日收盘跌幅超过2%的日期 假如我从2010年1.1日开始,每月第一个交易日买入1手股票,每年最后一个交易日卖出所有的股票,到今天为 阅读全文
posted @ 2019-05-26 23:19 一个很善良的抱爱 阅读(316) 评论(0) 推荐(0)
Numpy,Pandas,Matplotlib
摘要：一 . numpy 1. 创建ndarray 1.1 使用matplotlib.pyplot获取一个numpy数组,数据来源一张图片 1.2 numpy的一些用法(下面就默认已经导入了numpy啦) 2. ndarry的属性 3. ndarray的基本操作 3.1 索引 (一维与列表一样,多维同理) 阅读全文
posted @ 2019-05-25 23:04 一个很善良的抱爱 阅读(3716) 评论(0) 推荐(0)
crawlSpider,分布式爬虫,增量式爬虫
摘要：一 . crawlSpider 1. 上次了一种爬取全站数据是基于Scrapy框架中的Spider的递归爬取进行实现(Requests模块递归回调parse方法). 2. 现在在讲介绍一种比较好用的方法:基于CrawlSpider的自动爬取进行实现(更加的简洁高效). crawlSpider的简介 阅读全文
posted @ 2019-05-25 22:15 一个很善良的抱爱 阅读(475) 评论(0) 推荐(0)
scrapy中间件的应用
摘要：一 . 先了解一下scrapy五大组件的工作流程 二 . 中间件的应用 从上图可以看出来,scrapy的工作流程中有两个中间件,分别是spider中间件,一个是Downloader中间件 这里我们先介绍一下Downloader中间件 爬虫文件(middle.py) middlewares.py 1 阅读全文
posted @ 2019-05-24 22:24 一个很善良的抱爱 阅读(403) 评论(0) 推荐(0)
爬虫之scrapy
摘要：一 . scrapy框架的基本应用 安装步骤: 创建项目步骤: 打开爬虫文件 基于终端存储 执行这个文件 基于管道存储 爬虫文件(xiaohua.py) pipelines.py items.py 然后在终端执行 scrapy crawl xiaohua 就可以啦! 二 . 全站数据的请求 比如你想 阅读全文
posted @ 2019-05-24 13:07 一个很善良的抱爱 阅读(204) 评论(0) 推荐(0)
单线程+异步协程
摘要：一 . 线程池和进程池 可以适当的使用,在大量的IO情况下有更好的方法 二 . 单线程+异步协程(高性能的异步爬虫) 事件循环 task future 绑定回调 多任务异步协程(这里需要用到一个新模块aiohttp,一定不能是requests,因为requests是一个非异步模块) pip inst 阅读全文
posted @ 2019-05-23 17:42 一个很善良的抱爱 阅读(741) 评论(0) 推荐(0)
爬虫之图片懒加载技术,selenium
摘要：一 . 图片懒加载技术 案例分析：抓取站长素材http://sc.chinaz.com/中的图片数据 运行结果发现,我们可以获取到图片名称,但是获取到的链接为空,这就是图片懒加载的原因 图片懒加载的概念: 网站一般实现图片懒加载的技术 通过细致观察页面的结构后发现，网页中图片的链接是存储在了src2 阅读全文
posted @ 2019-05-18 14:52 一个很善良的抱爱 阅读(1254) 评论(0) 推荐(1)
爬虫之聚焦爬虫与验证码处理
摘要：一 . 我们先安装一个叫Anaconda的软件 参考链接: https://zhuanlan.zhihu.com/p/32925500 这里我们主要用到的是jupyter notebook,下载anaconda的原因是帮助解决jupyter的依赖关系 然后在文件夹下按住shift+右键 ->在此处打 阅读全文
posted @ 2019-05-12 21:48 一个很善良的抱爱 阅读(899) 评论(0) 推荐(0)
爬虫
摘要：一 . 爬虫的基本信息 概念: 分类: 机制: 模块: 二 . 示例 先来一个简简单单的小例子 案例2: 案例3: 案例4: 案例4: 阅读全文
posted @ 2019-05-09 21:26 一个很善良的抱爱 阅读(168) 评论(0) 推荐(0)
celery
摘要：一 . 异步 消费者文件 生产者文件 二 . 延时任务 消费者文件(同上) 生产者文件 三 . 周期性任务 消费者文件(同上) 生产者文件 四 . 生产者消费者放到文件下的正确执行方法 阅读全文
posted @ 2019-05-08 23:17 一个很善良的抱爱 阅读(151) 评论(1) 推荐(0)
ansible再谈
摘要：一 . linux的单双引号区别 二 . playbook 剧本 1. 操作都是幂等(操作以后就不会在操作了)的 2. 为什么要用playbook? 有一些好的功能 playbook的格式 单个playbook 传参 第一种方式 第二种方式 第三种方式 第四种方式 传参优先级: -e > playb 阅读全文
posted @ 2019-05-07 21:09 一个很善良的抱爱 阅读(267) 评论(0) 推荐(0)
ansible续集
摘要：一 . file 二 . fetch 三 . yum 四 . service 由于ansible发布的时候还没有centos7,所以用的不是systemctl用的是centos6的service 五 . cron 六 . user 七 . group 八 . replace 阅读全文
posted @ 2019-05-06 20:10 一个很善良的抱爱 阅读(149) 评论(0) 推荐(0)
ansible
摘要：一 . ansible的安装 二 . ansible的使用 命令格式: ansible <host-pattern> [options] 在管控机上面管理被管控机的操作 将ip进行分组(以后可以按照功能分组,比如所有数据库是一组) <host-pattern>和 [options] 的用法 comm 阅读全文
posted @ 2019-05-05 19:52 一个很善良的抱爱 阅读(405) 评论(0) 推荐(0)
跨域,CORS和contentType表
摘要：一 . 跨域 二 . CORS 浏览器将CORS分为两类:简单请求(simple request)和非简单请求(not-so-simple request) 只要同时满足一下两个条件,就属于简单请求 解决办法(在被请求的视图函数中加上一个响应头信息) 非简单请求 这里简单的介绍一下简单请求与非简单请 阅读全文
posted @ 2019-05-04 17:04 一个很善良的抱爱 阅读(932) 评论(0) 推荐(0)
DjangoRestFramework之认证组件,权限组件,频率组件,分页组件
摘要：一 . 认证组件 我们这里使用一下token,首先要建一个表,和user表一对一关系 models.py URL 视图函数,每次登录后自动刷新token 我们这里写一下DRF的认证组件 我们需要把这个认证组件 写到每一个url对应的视图函数中,加上认证,有token就可以访问,没有就拒绝 需要补两张 阅读全文
posted @ 2019-05-03 17:55 一个很善良的抱爱 阅读(271) 评论(0) 推荐(0)
DjangoRestFramework之序列化组件
摘要：一 . serializers 二 . 学了单表的,来一波跨表的序列化 多对一的外键序列化展示,在没有写source之前 写了source之后 多对多的外键序列化展示 三 . 用ModelSerializer序列化 基于ModelSerializer的get,post,put,delete的用法 1 阅读全文
posted @ 2019-05-02 14:52 一个很善良的抱爱 阅读(462) 评论(0) 推荐(0)
DjangoRestFramework,解释器组件, Postman,
摘要：一 . RESTful HTTP动词 RESTful架构的一些误区 误区一: 误区二: 二 . DjangoRestFramework(简称DRF) drf是django发展来的一个符合restful接口规范的一个app 我们在用restframework的时候,写视图函数的时候用的是CBV 三 . 阅读全文
posted @ 2019-05-01 18:02 一个很善良的抱爱 阅读(262) 评论(0) 推荐(0)