2019年11月10日
避免网络爬虫IP被封的策略
摘要： 背景 这两天一直在搞Java网络爬虫作为Java课程设计，目标是爬取豆瓣电影top250的影评，之后可能还需要进行情感分析，当然这就不是爬虫的内容了。我的爬虫程序在一开始只是一个页面一个页面的爬取信息，一直没出现什么太大问题，直到昨晚进行整体测试时，出现了IP被封的问题。大概仅仅爬取了数万条评论，再 阅读全文
posted @ 2019-11-10 19:47 王陸 阅读(5335) 评论(0) 推荐(2) 编辑