如何使用python获取爬虫课程评价信息
摘要：这篇文章主要介绍了python基于requests库爬取网站信息,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下。 在爬虫学习过程中我们经常会访问很多的技术网站，里面有分享很多的学习课程，像慕课网大家肯定都很熟悉了，里面的很多课程是很多学习价值的，但
阅读全文
posted @
2022-01-20 16:23
小橙子11
阅读(183)
推荐(0) 编辑
提升爬虫速度的方式
摘要：我们在进行爬虫的过程中，会遇到爬虫速度很慢的情况，这会让我们感到很烦躁，有时候获取的数据量比较多，就会更让人烦躁。不过我们在爬虫过程中要想提高爬虫的速度，还是有很多方法的，今天主要讲下提高爬虫速度的方式有哪些。 这里我们可以通过三个方式去提高速度：多线程爬虫、多进程爬虫和多协程爬虫。 多线程爬虫是以
阅读全文
posted @
2022-01-12 16:32
小橙子11
阅读(693)
推荐(0) 编辑
爬虫无头浏览器的伪装
摘要：在爬虫过程中有些网站可以识别出你是通过浏览器访问还是爬虫程序访问网站，如果识别出使用的不是浏览器，则会禁止访问或者禁止该用户在网站上的其他行为，比如不允许登录等，这时我们需要继续获取数据就需要使用浏览器伪装技术。我们可以学习一些简单的浏览器防伪装技术，如设置 Header 信息中的 User-Age
阅读全文
posted @
2022-01-04 16:37
小橙子11
阅读(352)
推荐(0) 编辑
