摘要: requests模块基础 什么是requests模块 requests模块是python中原生基于网络模拟浏览器发送请求模块。功能强大,用法简洁高效。 为什么要是用requests模块 用以前的urllib模块需要手动处理url编码 手动处理post参数 处理cookie和代理操作繁琐 ...... 阅读全文
posted @ 2019-09-24 21:44 一知.半解 阅读(225) 评论(0) 推荐(0) 编辑
摘要: 什么是爬虫 通过写程序,模拟浏览器上网,让它获取数据的过程。 爬虫的分类 通用爬虫:就像浏览器一样获取整张网页 聚焦爬虫:只获取网页中的特定数据 增量式爬虫:爬取网站新更新的出来的数据 反爬机制:服务器采取相关策略阻止爬虫程序的爬取 反反爬机制:让爬虫破解反爬机制进行数据采集 robots协议:可以 阅读全文
posted @ 2019-09-24 17:38 一知.半解 阅读(149) 评论(0) 推荐(0) 编辑
摘要: 1、什么是Jupyter Notebook? 用自己的话理解,就是可以在网页上编写代码,直接在下面运行代码,它与pycharm有点不一样。不一样在于pycharm边解释边运行,顺序不能出错。而jupyter notebook不一样,有缓存,所以顺序反的也不会报错。 2. 组成部分 1、网页运用 网页 阅读全文
posted @ 2019-09-24 09:38 一知.半解 阅读(399) 评论(0) 推荐(0) 编辑