[置顶] 人生苦短，Let's Go
摘要： Go语言介绍 为什么你应该学习Go语言？ B站视频链接 开发环境准备 从零开始搭建Go语言开发环境 B站视频链接 VS Code配置Go语言开发环境 B站视频链接 Go语言基础 变量和常量 B站视频链接 基本数据类型 B站视频链接 运算符 B站视频链接 流程控制 B站视频链接 数组 B站视频链接 切 阅读全文
posted @ 2020-02-07 20:20 boy° 阅读(473) 评论(4) 推荐(3) 编辑
[置顶] 人生苦短，我用Python
摘要： Python面试题 基础部分 网编、并发、MySQL Web篇（Django） 爬虫篇 Python基础部分 数据类型 基础数据类型 函数 初识函数 函数进阶 装饰器函数 迭代器和生成器 内置函数和匿名函数 递归函数 常用模块 常用模块 包 面向对象 初识面向对象 面向对象进阶 网络编程 网络编程 阅读全文
posted @ 2020-02-07 19:42 boy° 阅读(237) 评论(0) 推荐(0) 编辑
2020年3月26日
爬虫之Scrapy框架
摘要： 框架：具有很强的通用性，且封装了一些通用实现方法的项目模板 (异步框架)： 高性能的网络请求 高性能的数据解析 高性能的持久化存储 高性能的全站数据爬取 高性能的深度爬取 高性能的分布式 Scrapy环境安装 IOS和Linux windows 安装完成后，输入 测试一下，出现如下图显示，即安装成功 阅读全文
posted @ 2020-03-26 00:07 boy° 阅读(292) 评论(0) 推荐(1) 编辑
2020年3月23日
爬虫之移动端数据捕获
摘要： 移动端数据捕获 第三方抓包工具 （window） （mac） 抓包工具就是代理服务器 拦截和转发请求&响应 的基本使用 安装 默认安装好的 只可以捕获到HTTP协议的请求 配置 进行 证书的本机安装 tools→options→HTTPS→Decrypt HTTPS traffic→Check fo 阅读全文
posted @ 2020-03-23 16:14 boy° 阅读(289) 评论(0) 推荐(0) 编辑
爬虫之selenium
摘要： selenium基本操作 概念：基于浏览器自动化的模块 ：基于手机自动化的模块的应用 环境的安装 跟爬虫之间的关联？ 可以实现模拟登陆 便捷的捕获动态加载数据（可见即可得） 基本操作 导包： （web浏览器，driver驱动） 必须提供对应浏览器的驱动程序（谷歌，火狐...） "谷歌浏览器驱动下载地 阅读全文
posted @ 2020-03-23 01:49 boy° 阅读(650) 评论(0) 推荐(2) 编辑
2020年3月20日
爬虫之线程&协程&异步
摘要： 线程池 导包： 回调函数异步将可迭代对象中的元素进行某种操作 注意事项：callback必须有一个参数，且只能有一个参数 异步主要是被应用在耗时的操作 测试：同步&异步效率 搭建一个flask，自己启动服务，测试执行时间 新建一个 新建一个 文件夹，在该文件夹下创建一个HTML文件，我写的是 ，随便 阅读全文
posted @ 2020-03-20 23:05 boy° 阅读(328) 评论(0) 推荐(1) 编辑
2020年3月19日
爬虫之requests进阶
摘要： 代理（反爬机制） 短时间向一个服务器发起高频请求，会被认定为异常请求，将当前IP列入黑名单 概念：在爬虫中指的就是代理服务器 代理服务器的作用： 拦截请求和响应，进行转发 代理和爬虫之间的关联？ 如果pc端IP被禁掉后，我们就可以使用代理机制更换请求的IP 如何获取相关的代理服务器 快代理：http 阅读全文
posted @ 2020-03-19 18:32 boy° 阅读(922) 评论(0) 推荐(0) 编辑
爬虫之数据解析
摘要： 数据解析简介 数据解析：解析或提取数据，从通用爬虫获取的整张页面中，取得指定的局部数据 作用：实现聚焦爬虫 实现方式： （相比来说麻烦一些） （python中独有的） （java，php，python均可使用） （python独有） 数据解析的通用原理是什么？ 解析的一定是html页面的源码数据 解 阅读全文
posted @ 2020-03-19 09:43 boy° 阅读(630) 评论(0) 推荐(0) 编辑
2020年3月8日
爬虫之初识
摘要： 什么是爬虫? 通过编写代码，模拟浏览器发送请求，让其去网络上抓去数据的过程。 爬虫分类？ 通用爬虫 抓取整张网页的全部内容 聚焦爬虫 抓取一张页面的部分内容 通用爬虫和聚焦爬虫的关联： 聚焦是建立在通用爬虫的基础上 增量式爬虫 监测网站数据的更新情况，以便将最新的数据进行爬取。 reqeusts简介 阅读全文
posted @ 2020-03-08 21:24 boy° 阅读(474) 评论(0) 推荐(0) 编辑
2020年3月7日
HTTP状态码
摘要： 常见的http状态码 100：继续 客户端应当继续发送请求。客户端应当继续发送请求的剩余部分，或者如果请求已经完成，忽略这个响应。 101： 转换协议 在发送完这个响应最后的空行后，服务器将会切换到在Upgrade 消息头中定义的那些协议。只有在切换新的协议更有好处的时候才应该采取类似措施。 102 阅读全文
posted @ 2020-03-07 12:57 boy° 阅读(263) 评论(0) 推荐(0) 编辑
2020年3月2日
Web_jQuery
摘要： 楔子 需求一：有html标签关系如下，请找到所有的含有a标签的li标签 <div <ul <li class="city" 北京</li <li class="city" <a href="" 上海</a </li <li class="city" 天津</li </ul </div <script 阅读全文
posted @ 2020-03-02 21:32 boy° 阅读(348) 评论(0) 推荐(0) 编辑
Web_javascript-ECMAScript
摘要： javascript介绍 Web前端有三层： HTML：从语义的角度，描述页面结构 CSS：从审美的角度，描述样式（美化页面） JavaScript：从交互的角度，描述行为（提升用户体验） 其中JavaScript基础又分为三个部分： ECMAScript：JavaScript的语法标准。包括变量、 阅读全文
posted @ 2020-03-02 21:30 boy° 阅读(324) 评论(0) 推荐(0) 编辑
下一页