摘要： 有时候大家在爬虫的时候会遇到要登录的情况，如果不登录则爬不到自己想要的东西，这里以博客园为例，here we go~~ 首先简单的介绍一下selenium和phantomJS： selenium是一款测试工具，能够模拟用户对浏览器进行操作， phantomJS是一款轻便式浏览器，其没有界面并且功能相 阅读全文

摘要： 在编写爬虫程序的时候，一般的url中会携带页码的参数，例如斗鱼的直播页：https://www.douyu.com/directory/all?page=3&isAjax=1，其中page就代表页码，在爬取的时候只需要利用for循环，将url拼凑完整即可。 但是有些网站的url属于不会变化的，即其参 阅读全文