摘要：
在实际情况中，很多网站的内容都是需要登录之后才能看到，如此我们就需要进行模拟登录，使用登录后的状态进行爬取。这里就需要使用到Cookie。 现在大多数的网站都是使用Cookie跟踪用户的登录状态，一旦网站验证了登录信息，就会将登录信息保存在浏览器的cookie中。网站会把这个cookie作为验证的凭 阅读全文
摘要：
上一章咱们使用Python实现了一个简单的HTTP请求，瞧着简单，爬虫就是模拟人打开一个个URL浏览一个个网页来爬取数据的，一个成功的HTTP请求，就是一个爬虫的基础。 接下来，咱们以一个实际的例子：爬取百度新闻，来介绍使用BeautifulSoup对HTML进行解析处理。 爬取腾讯新闻 1、寻找数 阅读全文
摘要：
一、为什么从HTTP请求开始 无论我们通过浏览器打开网站、访问网页，还是通过脚本对URL网址进行访问，本质上都是对HTTP服务器的请求，浏览器上所呈现的、控制台所显示的都是HTTP服务器对我们请求的响应。 以打开我的个人网站为例，我们在地址栏输入“zmister.com”，浏览器上呈现的是下图： z 阅读全文
摘要：
一、基础知识 使用Python编写爬虫，当然至少得了解Python基本的语法，了解： 基本数据结构 数据类型 控制流 函数的使用 模块的使用 不需要过多过深的Python知识，仅此而已。 个人推荐《Python简明教程》http://www.kuqin.com/abyteofpython_cn/、P 阅读全文