摘要: requests简介 requests模块是python3自带的库,可直接使用,该库主要用来处理http请求 中文文档 : http://docs.python-requests.org/zh_CN/latest/index.html requests模块的简单使用 requests模块发送简单的请 阅读全文
posted @ 2019-04-06 19:51 沐风先生 阅读(803) 评论(0) 推荐(0) 编辑
摘要: 浏览器发送HTTP请求的过程 调出网页分析工具:鼠标右键 >检测 可以看到,返回了很多资源,但是我们只需要找到url的这个文件即可,学过WEB的可能知道,其实除了文件www.baidu.com之外,其它都是一些前端(css js)和资源(image video)文件 Request URL: htt 阅读全文
posted @ 2019-04-06 18:58 沐风先生 阅读(323) 评论(0) 推荐(0) 编辑
摘要: 为什么要学习爬虫 既然是模拟认为操作浏览器和APP,那数据所有人都能看到,应该是不值钱的,那为啥还要用爬虫? 众所周知,互联网已经进入了下半场,上半场积累的数据非常多,要从海量的数据中高效提取出目标数据用于数据分析、人工智能、甚至抄袭同类产品(参考今日头条)。 OK,高效提取出目标数据就是爬虫的意义 阅读全文
posted @ 2019-04-06 18:15 沐风先生 阅读(255) 评论(0) 推荐(0) 编辑