摘要:
[TOC] 逻辑 估算了一下博客园的用户数,大约为47万,生成"005684"这样的六位字符,构造url。 根据url爬取页面,解析xml,取出数据,存入DB。 两种存储方式:json或者直接存入MongoDB 如果响应时间过长 | 尝试次数过多 | 返回页面为空 则抛弃该url并休息,然后进行下一 阅读全文
该文被密码保护。 阅读全文
© 2018 追梦网 | Created by Cai M$ | 博客园 | 推荐使用 Microsoft Edge 与 Windows 10