Phinehasz Zhi

超越你看到的

2018年5月20日
爬虫入门(二)用webmagic爬豆瓣豆列的尝试(解决403等常见问题)
摘要： webmagic学习资料:http://webmagic.io/docs/ 原本爬虫的计划是去扒b站的,结果发现b站是js动态加载的,所以先对豆瓣进行尝试,练一下手. 整个项目核心是DoubanProcessor的这个类,继承了webmagic的PageProcessor 其他是自己实现数据库持久化 阅读全文
posted @ 2018-05-20 20:01 phinehasz 阅读(2450) 评论(1) 推荐(0) 编辑