会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Jericho
传说中的web2.0设计师;-)
导航
博客园
首页
新随笔
联系
订阅
管理
2014年11月7日
Node.js 爬虫,自动化抓取文章标题和正文
摘要: 持续进行中。。。目标:动态User-Agent模拟浏览器 √支持Proxy设置,避免被服务器端拒绝√支持多核模式,发挥多核CPU性能 √支持核内并发模式 √自动解码非英文站点,避免乱码出现 √自动队列管理,持续化PUSH √自动抓取文章标题和正文√性能优化测试用例,自动化测试我的测试环境:9 台安装...
阅读全文
posted @ 2014-11-07 16:44 Jericho
阅读(1276)
评论(0)
推荐(0)
编辑