目标网站反爬策略之随机ua的添加
摘要：为何要设置User Agent？ 作为爬虫我们都知道，很多网站是做了反爬策略的，特别是爬虫程序这样的非人点击访问，网站更不会让你继续访问，这时我们的应对策略就是需要隐藏自己的爬虫程序的身份。我们就可以通过设置User Agent的来达到隐藏身份的目的，User Agent的中文名为用户代理，简称UA
阅读全文
posted @
2021-10-26 16:15
小橙子11
阅读(199)
推荐(0) 编辑
中日韩网友如何评价《鱿鱼游戏》？
摘要：最近被好几个好友安利《鱿鱼游戏》，虽然我没有去看，但是也知道这部剧在九月末的热度不是一般的高，微博热搜经常都有，豆瓣超过20万人打分，并且热度还在持续飙升中。该剧由《熔炉》导演黄东赫执导，由李政宰、朴海秀合作主演，之前火到已经达到了Netflix TV Show世界榜第2名，韩剧排行榜第1名。 今天
阅读全文
posted @
2021-10-18 16:28
小橙子11
阅读(102)
推荐(0) 编辑
Python爬取自如租房信息，一线城市房租好贵
摘要：北上广深作为打工人最多的超一线城市，大部分都是租房生活着，自如作为目前第三方租房平台，应该算是该行业的龙头。那么自如都有多少open状态的房源呢，这些房源都是什么样的呢？今天我们获取了一些自如北上广深四个城市房源信息，这里就以上海的数据来做详细的介绍吧。 我发现自如的每个筛选结果最多展示50页，约1
阅读全文
posted @
2021-10-11 16:30
小橙子11
阅读(133)
推荐(0) 编辑
