2021年5月31日
团队冲刺阶段二（6）
摘要： 爬取到了帖子的标题，还要对帖子的评论进行爬取，这其中就会有更多的服务器访问，因此出现反爬虫设定的概率就更大了，因此决定控制过一段时间进行一次爬虫，每个帖子不要爬取过多的内容，以此来保证可以让数据库不会太缺少内容。 应对爬虫出现问题的方法，因为解决不了验证，只能每次爬取少量内容，给程序设置了一个定时器 阅读全文
posted @ 2021-05-31 21:38 软工新人 阅读(30) 评论(0) 推荐(0) 编辑