摘要： python部分 第一篇实用软件安装 第二篇变量常量与简单数据类型 第三篇基本数据类型与用户交互 第四篇各式运算符和流程控制 第五篇数据类型内置方法 一到五内容回顾 第六篇文件操作以及作业讲解 第七篇文件操作补充及函数概念 第八篇函数具体讲解和使用 第九篇名称空间以及代码精简 第十篇模块从入门到使用 阅读全文

摘要： 王者英雄皮肤壁纸 1.首先进入英雄资料页面https://pvp.qq.com/web201605/herolist.shtml 2.数据是直接加载的 所以找到每个英雄头像对应的li标签 3.找到里面的链接herodetail/538.shtml 通过字符串拼接就能让代码进入详情页 import r 阅读全文

摘要： 复习巩固 1.列举你所接触到的网站采取的防爬措施及解决方案(通用与自定义) 浏览器请求 增加请求头中浏览器信息 ip代理池 多找几个ip随机取用 cookie代理池 多注册几个cookie随机取用 图片防盗链 在请求头中加入referer伪装成所允许的网站发出请求 动态加载 向实现动态加载的网站发送 阅读全文

摘要： 网络爬虫专题小课堂 第一篇爬虫理论基础 第二篇html各类标签以及正则 第三篇网络请求和requests模块 第四篇cookie和requests补充 第五篇数据加载方式和网页爬取思路 第六篇解析库bs4和红牛公司案例 一到六内容回顾 第七篇优美图库和犁视频 第七篇补充梨视频胎教级思路讲解 第八篇o 阅读全文

摘要： 今日考题 1.详述豆瓣top250爬取思路(尽可能详细一些) # 以由外到内的思维方法为例 1.观察所需网页加载方式 为直接加载的 2.先找到每个电影是通过li布局再页面上的 先获取到整个li列表 3.再通过xpath选择器选取到所需标签 4.只有遇到没有短评的部分会比较麻烦可以找到其位置之后用xp 阅读全文

摘要： 爬犁视频 前期思考 1.首先还是先分析所需的网站看到我们需要点进的链接如何加载 2.发现这个部分是直接写在网站上的那就简单了，可以通过你喜欢的方法找到所需标签 3.然后再分析a标签规律尝试取到其中的链接 4.进一步检查他的转跳窗口地址并没有给全那就手动加上前面部分 针对上述部分先书写出代码 impo 阅读全文