摘要: [TOC] 逻辑 估算了一下博客园的用户数,大约为47万,生成"005684"这样的六位字符,构造url。 根据url爬取页面,解析xml,取出数据,存入DB。 两种存储方式:json或者直接存入MongoDB 如果响应时间过长 | 尝试次数过多 | 返回页面为空 则抛弃该url并休息,然后进行下一 阅读全文
posted @ 2018-04-02 22:34 小鑫同学 阅读(663) 评论(0) 推荐(0) 编辑
该文被密码保护。 阅读全文
posted @ 2018-04-02 12:17 小鑫同学 阅读(3) 评论(0) 推荐(0) 编辑

© 2018 追梦网 | Created by Cai M$ | 博客园 | 推荐使用 Microsoft EdgeWindows 10