摘要: 三大对象 1.DataFrame(index, columns ,values) 1)先从文件(excel,csv,mysql)中读取,或者自己制造一个DataFrame对象 2)查看数据 查看数据的形状(几行几列) 查看每一列的数据类型,数据中是否有空值(行、列),查看每一列和标签的关系(离散-柱 阅读全文
posted @ 2019-07-16 10:13 evan0925 阅读(206) 评论(0) 推荐(0) 编辑
摘要: 注意:selenium每次驱动的浏览器都是一个干净的,新的浏览器 1.简单的图片滑动 2.标签的前进后退 阅读全文
posted @ 2019-06-18 10:35 evan0925 阅读(297) 评论(0) 推荐(0) 编辑
摘要: Xpath语法 //body/. 表示从body当前位置查找 2. 元素交互操作 3.添加cookie 4.选项卡的操作 阅读全文
posted @ 2019-06-18 09:38 evan0925 阅读(275) 评论(0) 推荐(0) 编辑
摘要: 相关资料 https://www.cnblogs.com/kermitjam/p/10863922.html#test33 1、selenium是什么? selenium最初是一个自动化测试工具,(而爬虫中使用它主要是为了解决requests无法执行javaScript代码的问题。) 可以使用它来帮 阅读全文
posted @ 2019-06-17 16:36 evan0925 阅读(120) 评论(0) 推荐(0) 编辑
摘要: 1.猜数字游戏,三次后提醒是否继续 阅读全文
posted @ 2019-06-14 20:46 evan0925 阅读(132) 评论(0) 推荐(0) 编辑
摘要: 程序改进如下::: 执行代码如下: 数据传递过程,如下几图: 阅读全文
posted @ 2019-06-14 10:45 evan0925 阅读(373) 评论(0) 推荐(0) 编辑
摘要: 回顾: 1.爬虫:爬取数据 2.互联网:由一堆网络设备一台台的计算机互联到一起 3、互联网建立的目的:数据的传递和数据共享 4.上网的全过程: 普通用户: 打开浏览器-》往目标站点(服务器)发送请求-》接受响应数据-》渲染到页面上 爬虫程序: 模拟浏览器-》往目标站点(服务器)发送请求-》接受响应数 阅读全文
posted @ 2019-06-14 08:39 evan0925 阅读(120) 评论(0) 推荐(0) 编辑
摘要: 1.下载谷歌浏览器 2.在谷歌浏览器内打开百度 3.打开百度的开发者工具:ctrl+shift+I 4. 5.关注内容解释: 6. requests模块的使用 7.网上爬取视频: 说明:获取视频源的办法:用谷歌浏览器打开梨视频,然后打开开发者模式,然后点开element ,然后选择相应的视频,然后点 阅读全文
posted @ 2019-06-13 16:23 evan0925 阅读(142) 评论(0) 推荐(0) 编辑
摘要: 二 爬虫的基本流程 爬虫的基本流程其实就是模拟浏览器往目标站点发送请求,那浏览器发送的是http协议数据格式的请求,http协议的底层其实就是TCP协议数据格式。其实浏览器是一个套接字客户端,访问的目标站点是一个套接字服务端。那套接字客户端要与套接字服务端建立链接,得先拿到 ”客户端的ip和端口“ 阅读全文
posted @ 2019-06-13 15:09 evan0925 阅读(144) 评论(0) 推荐(0) 编辑
摘要: 1、json模块 json 模块使用图解: 如上,会报错,因为user_info为字典类型,而open要求写入的是字符串。 修改如下: 反序列化如下: dump__自带写功能,自动触发.white()功能 如上,修改: load 也自带读功能,简化代码如下: 2.time 模块 3.os 模块 4. 阅读全文
posted @ 2019-06-13 11:33 evan0925 阅读(177) 评论(0) 推荐(0) 编辑