06 2019 档案

linux之架构图和八台服务器
摘要：(1) (2) 阅读全文
posted @ 2019-06-27 22:52 studybrother 阅读(455) 评论(0) 推荐(0) 编辑
1-1.go开发工具安装
摘要：(1) (2) bin：go的可执行文件 src：go的源代码 (3)安装开发工具 安装:goland-2018.1.1.exe 将.jar文件复制到工具的bin目录下 用记事本打开“goland.exe.vmoptions”和“goland64.exe.vmoptions”这两个文件，在后面添加破 阅读全文
posted @ 2019-06-26 17:23 studybrother 阅读(182) 评论(0) 推荐(0) 编辑
1.Golang开山篇,GO就是NB!
摘要：目录:GO就是NB GO sb吗 安装环境 GO就是NB,K2R三位大佬写的GO,学GO不吃亏! （1）我们为什么要学 （2）go学习思路和目标 GO sb吗 1. 认识go语言 go语言（或 Golang）是Google在 2007 年开发的一种开源编程语言，于2009年11月开源，2012年发布 阅读全文
posted @ 2019-06-26 16:56 studybrother 阅读(351) 评论(0) 推荐(0) 编辑
人生苦短,LET'S GO! GO语言目录
摘要：1.Golang开山篇,GO就是NB! 1-1.go开发工具安装 2.go-人生第一个go程序和基本语法 3.go-流程控制 4.go-函数 5.go-流程控制 6.go-复合类型 7.go-面向对象 8.go-字符串处理 9.go-异常处理 10.go-处理json 11.go-并发编程 12.g 阅读全文
posted @ 2019-06-26 16:45 studybrother 阅读(336) 评论(0) 推荐(0) 编辑
小白爬虫综合项目1
摘要：项目1:搜狗知乎,爬取指定存储上一级目录的名字,以及存储爬取的页码 项目2:爬取某用户的豆瓣网的个人主页页面数据 项目3:goubanjia应用爬取ip这个关键词的页面 项目4: 爬取糗事百科首页的图片&&升级 项目5:爬取段子网 项目6:爬取古诗文网的三国这篇小说 项目7:selenium 项目8 阅读全文
posted @ 2019-06-23 19:31 studybrother 阅读(274) 评论(0) 推荐(0) 编辑
一些帮助工具文档
摘要：1.如何正确并快速的下载centos各个版本镜像参考地址:centos6.9,6.10,7.5 http://www.mamicode.com/info-detail-2292988.html 2. 阅读全文
posted @ 2019-06-19 08:39 studybrother 阅读(145) 评论(0) 推荐(0) 编辑
数据结构与算法目录
摘要：1.数据结构&算法的引言+时间复杂度 2.python数据结构的性能分析 3.基本数据结构-栈 4.基本数据结构-队列 5.队列的应用案例-烫手的山芋 6.基本数据结构-双端队列(Deque) 7.Deque的应用案例-回文检查 8.基本数据结构-顺序表和链表 9算法之顺序,二分,hash查找 10 阅读全文
posted @ 2019-06-15 10:36 studybrother 阅读(1471) 评论(0) 推荐(0) 编辑
数据分析2-1
摘要：1.DataFrame(续) (1) (2) (3) (4)DataFrame的索引 (5) (6)修改列索引 先取出一列 下面这样写会出错,索引的问题出现了NaN (7) (8)如何取出,前两列? (9) (10) (11)如何取出第一行? 用loc:显式索引 (12) (13) (14) 方式: 阅读全文
posted @ 2019-06-10 22:34 studybrother 阅读(150) 评论(0) 推荐(0) 编辑
数据分析1-2
摘要：1.部分排序 生成矩阵:十行十列的单位矩阵 2.Pandas的数据结构 重点定义:(隐式索引和显式索引) Series只是类似,并不是一维的数组 以及空值检测是重点 例1: 例2: index是索引,指定的是显式索引 例3: name代表的是唯一标识 例4: 注意:只能是类似一维的才行 例5: 上图 阅读全文
posted @ 2019-06-10 18:07 studybrother 阅读(396) 评论(0) 推荐(0) 编辑
数据分析1-1
摘要：1. 一、创建ndarray 2. 使用np.array()创建 例1:一维数组创建 结果: 例2:二维数据创建 结果: 例3:使用matplotlib.pyplot获取一个numpy数组，数据来源于一张图片 运行之后,返回的是一个三维数组,外边有三层包裹 结果: 例4: 运行之后,得到的结果: 例 阅读全文
posted @ 2019-06-10 11:09 studybrother 阅读(251) 评论(0) 推荐(0) 编辑
数据分析案例:
摘要：1.美国人口 2.政治献金 3.美国海洋数据和温度,线性回归模型 数据分析和爬虫数据以及机器学习有很大关系 阅读全文
posted @ 2019-06-10 10:57 studybrother 阅读(379) 评论(0) 推荐(0) 编辑
数据分析1:安装tushare安装包
摘要：1. 2. 3.重点内容 阅读全文
posted @ 2019-06-05 11:21 studybrother 阅读(417) 评论(0) 推荐(0) 编辑
小爬爬7:回顾&&crawlSpider
摘要：1.回顾昨日内容 2.crawl总结 3.高效的全栈数据爬取 新建一个抽屉的项目,我们对其进行全栈数据的爬取 下图是页码对应的url 修改下面的内容: 下面我们提取指定的规则执行下面的命令: 运行之后,我们只是爬取到了10条数据 我们需要将最后一个界面作为起始,也就是follow=True就可以了 阅读全文
posted @ 2019-06-04 23:34 studybrother 阅读(173) 评论(0) 推荐(0) 编辑
小爬爬6: 网易新闻scrapy+selenium的爬取
摘要：1.https://news.163.com/ 国内国际,军事航空,无人机都是动态加载的,先不管其他我们最后再搞中间件 2. 我们可以查看到"国内"等板块的位置 新建一个项目,创建一个爬虫文件 下面,我们进行处理: 仔细查找二级标签的位置: 每一段的信息都储存在p标签内部 items.py写两个字段 阅读全文
posted @ 2019-06-04 22:02 studybrother 阅读(583) 评论(0) 推荐(1) 编辑
小爬爬6:中间件
摘要：1. 4567电影 修改下面的配置 上边是设置的三个部分配置 注意要注释掉,上边的默认君子协定 爬虫中中间件的爬取 下面我们看一下中间件文件中的内容. 我们只需要保留中间件中的三个process方法即可. 这个类是批量拦击所有的请求和响应 一些功能: 上边的配置文件settings.py其实不写ua 阅读全文
posted @ 2019-06-03 23:24 studybrother 阅读(166) 评论(0) 推荐(0) 编辑
小爬爬6:2请求传参
摘要：1.scrapy的请求传参: 五大组件:所有的数据流都会走"引擎" "请求对象" 引擎怎么知道什么时间调用什么方法? 引擎:接收所有数据,进行事物的触发 引擎根据接收不同类型的数据流决定下一步触发什么方法. 2. 上图最后一条修改成下图,加上网址 settings.py三件套 拿取ul的xpath 阅读全文
posted @ 2019-06-03 23:15 studybrother 阅读(207) 评论(0) 推荐(0) 编辑
小爬爬6.scrapy回顾和手动请求发送
摘要：1.数据结构回顾 2.回顾scrapy 3.手动请求发送 阳光热点问政平台:http://wz.sun0769.com/index.php/question/questionType?type=4 我们不能将每个url都放在start_urls中 如何和实现全站数据的爬取?定位到某个板块将所有的数据 阅读全文
posted @ 2019-06-03 22:12 studybrother 阅读(292) 评论(0) 推荐(0) 编辑
小爬爬5:scrapy介绍3持久化存储
摘要：一.两种持久化存储的方式 1.基于终端指令的吃持久化存储: 特点:终端指令的持久化存储,只可以将parse方法的返回值存储到磁盘文件 因此我们需要将上一篇文章中的author和content作为返回值的内容,我们可以将所有内容数据放在列表中, 每个字典存储作者名字和内容,最好将定义的列表返回即可 我 阅读全文
posted @ 2019-06-03 18:15 studybrother 阅读(219) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示