上一页 1 ··· 14 15 16 17 18 19 20 21 22 ··· 32 下一页
摘要: 引入 今日概要 图片懒加载 selenium phantomJs 谷歌无头浏览器 知识点回顾 验证码处理流程 今日详情 动态数据加载处理 一.图片懒加载 什么是图片懒加载? 案例分析:抓取站长素材http://sc.chinaz.com/中的图片数据 #!/usr/bin/env python # 阅读全文
posted @ 2019-02-28 21:35 傻白甜++ 阅读(283) 评论(0) 推荐(0) 编辑
摘要: 引入 相关的门户网站在进行登录的时候,如果用户连续登录的次数超过3次或者5次的时候,就会在登录页中动态生成验证码。通过验证码达到分流和反爬的效果。 今日概要 使用云打码平台识别验证码 知识点回顾 session的创建方式 session的作用 proxies参数的作用 高匿,透明代理的区别 今日内容 阅读全文
posted @ 2019-02-28 21:34 傻白甜++ 阅读(432) 评论(0) 推荐(0) 编辑
摘要: 今日总结 session处理cookie proxies参数设置请求代理ip 基于线程池的数据爬取 知识点回顾 xpath的解析流程 bs4的解析流程 常用xpath表达式 常用bs4解析方法 引入 有些时候,我们在使用爬虫程序去爬取一些用户相关信息的数据(爬取张三“人人网”个人主页数据)时,如果使 阅读全文
posted @ 2019-02-28 21:21 傻白甜++ 阅读(248) 评论(0) 推荐(0) 编辑
摘要: 回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实,在上述流程中还需要较为重要的一步,就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求,我们都会指定去使用聚焦爬虫,也就是爬取页面中指定部分的数据值,而不是整 阅读全文
posted @ 2019-02-26 18:11 傻白甜++ 阅读(612) 评论(1) 推荐(1) 编辑
摘要: 引入 Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用。 警告:非专业使用其他 HTTP 库会导致危险的副作用,包括:安全缺陷症、冗余代码症、重新发明轮子症、啃文档症、抑郁、头疼、甚至死亡。 今日概要 基于requests的get请求 基于requests模块的p 阅读全文
posted @ 2019-02-26 18:08 傻白甜++ 阅读(331) 评论(0) 推荐(0) 编辑
摘要: 爬虫介绍 引入 为什么要学习爬虫,学习爬虫能够为我们以后的发展带来那些好处?其实学习爬虫的原因和为我们以后发展带来的好处都是显而易见的,无论是从实际的应用还是从就业上。 我们都知道,当前我们所处的时代是大数据的时代,在大数据时代,要进行数据分析,首先要有数据源,而学习爬虫,可以让我们获取更多的数据源 阅读全文
posted @ 2019-02-26 18:05 傻白甜++ 阅读(249) 评论(0) 推荐(0) 编辑
摘要: 一.HTTP协议 1.官方概念: HTTP协议是Hyper Text Transfer Protocol(超文本传输协议)的缩写,是用于从万维网(WWW:World Wide Web )服务器传输超文本到本地浏览器的传送协议。(虽然童鞋们将这条概念都看烂了,但是也没办法,毕竟这就是HTTP的权威官方 阅读全文
posted @ 2019-02-26 18:02 傻白甜++ 阅读(294) 评论(0) 推荐(0) 编辑
摘要: jupyter notebook环境安装 一、什么是Jupyter Notebook? 1. 简介 Jupyter Notebook是基于网页的用于交互计算的应用程序。其可被应用于全过程计算:开发、文档编写、运行代码和展示结果。——Jupyter Notebook官方介绍 简而言之,Jupyter 阅读全文
posted @ 2019-02-26 18:00 傻白甜++ 阅读(184) 评论(0) 推荐(0) 编辑
摘要: 导读:因为教程详细,所以行文有些长,新手边看边操作效果出乎你的预料。GitHub 虽然有些许改版,但并无大碍。 一、Git 是什么?Git 是目前世界上最先进的分布式版本控制系统。工作原理 / 流程: Workspace:工作区 Index / Stage:暂存区 Repository:仓库区(或本 阅读全文
posted @ 2019-02-25 23:21 傻白甜++ 阅读(339) 评论(0) 推荐(0) 编辑
摘要: 打标签 像其他版本控制系统(VCS)一样,Git 可以给历史中的某一个提交打上标签,以示重要。 比较有代表性的是人们会使用这个功能来标记发布结点(v1.0 等等)。 在本节中,你将会学习如何列出已有的标签、如何创建新标签、以及不同类型的标签分别是什么。 列出标签 在 Git 中列出已有的标签是非常简 阅读全文
posted @ 2019-02-25 23:20 傻白甜++ 阅读(313) 评论(0) 推荐(0) 编辑
上一页 1 ··· 14 15 16 17 18 19 20 21 22 ··· 32 下一页
TOP