1.爬虫基本介绍
摘要：1 爬虫介绍 1.1 爬取流程 爬取的都是http/https的数据，移动端的数据，发送请求获取数据，并不是只有python能做爬虫（任何语言都可以做爬虫），python比较便捷，模块多，上手快，爬虫框架scrapy 发送http请求（requests模块） 》服务端返回数据（咱们要爬取的网站） 》
阅读全文
posted @
2020-03-03 00:36
jueyuanfengsheng
阅读(337)
推荐(0) 编辑
3.解析库beautifulsoup
摘要：[TOC] bs4的安装和解析器选择 中文文档： " beautifulsoup4模块 " 遍历文档树 搜索文档树 1.五种过滤器 2. find_all(name,attrs,recursive,text, kwargs) 3. find(name,attrs,recursive,text, kw
阅读全文
posted @
2020-02-26 22:24
jueyuanfengsheng
阅读(236)
推荐(0) 编辑
2.请求库之requests库
摘要：[TOC] 介绍 基于GET请求 1.基本请求 2.带参数的GET请求 params 自己拼接GET参数: params参数的使用: 带参数的GET请求 headers 带参数的GET请求 cookie 基于POST请求 1.介绍 2.发送post请求，模拟浏览器的登录行为 对于登录来说，应该输错用
阅读全文
posted @
2020-02-25 23:53
jueyuanfengsheng
阅读(312)
推荐(0) 编辑
