人人网爬虫

随着数据量的增大, 千万级数据量, G 级数据规模.

设计不合理的表结构与 SQL 语句, 性能十分低下.

 

对原始数据过滤后, 实行分库存储的策略, 类似 MapReduce.

shadding 之类的数据库技能太弱.

自己写代码分库.