摘要：
import requests import json if __name__ == '__main__': #制定url url = 'https://movie.douban.com/j/chart/top_list' params = { 'type':'24', 'interval_id': 阅读全文
摘要：
--需求：破解百度翻译 --对应的请求是post请求 （携带了参数） --响应数据是一组json数据 代码 import requests import json if __name__ == '__main__': #制定url post_url = 'https://fanyi.baidu.co 阅读全文
摘要：
#UA检测：门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求载体的身份标识为某一款浏览器，说明是正常用户通过浏览器发起的正常的请求 # 如果检测到非浏览器发起的请求，则表示请求可能为不正常的请求（爬虫），那么有可能就会拒绝该请求 #UA：User-Agent：（请求身份载体的身份标识） 阅读全文
摘要：
笔记 requests模块 - urllib模块 - requests模块 request模块：python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。 作用：模拟浏览器发请求。 如何使用：(requests模块的编码流程) - 指定url - 发起请求 - 获取响应数据 - 阅读全文
摘要：
爬虫分类： 通用爬虫：抓取系统重要组成部分，抓取的是一个整张页面的数据 聚焦爬虫：是建立在通用爬虫的基础之上。抓取的是页面中特定的局部内容 增量式爬虫：检测网站中数据更新的情况，指挥抓取网站中最新更新出来的数据 爬虫的矛与盾： 反爬机制 门户网站，可以通过制定相应的策略或者技术手段，防止爬虫程序进行 阅读全文