摘要：
自己总结了一下就是存储，消息处理（异步，阻塞，队列，消息中间件） 参考岗位需求 数据爬虫工程师的岗位职责：1、分布式网络爬虫研发：不断完善现有抓取系统，通过对抓取、解析、调度、存储等模块的拆分与优化，形成具有本地服务特色的定向爬虫引擎，持续改进与迭代完善，推进开放服务建设;2、抓取数据需求支持：不断 阅读全文
2016年4月23日
2016年4月23日
