摘要：
Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库。因为urllib存在着诸多的不便，而requests的出现能够帮助解决大量的难题。 请求 以get请求为例，一般请求格式为： 注意：在上面的例子中使用response.text和 阅读全文
摘要：
一、python基础教程 https://morvanzhou.github.io/ 二、爬虫教程 https://www.yuanrenxue.com/crawler/principle-of-web-crawler.html https://www.cnblogs.com/zhaof/tag/% 阅读全文
摘要：
Beautiful Soup 名气大，整合了一些常用爬虫需求。缺点：不能加载JS。 Scrapy 看起来很强大的爬虫框架，可以满足简单的页面爬取（比如可以明确获知url pattern的情况）。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如weibo的页面信息，这 阅读全文