hadoop日志【4】----50G数据

以前测试的数据量最大的才8G左右，而且还是在sqlserver中的数据量

一般运行都在30分钟左右

而sqlserver运行同样的逻辑更快，最多8分钟

决定测试一下能体现hadoop集群优越性的数据量

然后就搞了一个50G的数据表

果然效果明显，sqlserver运行一次需要至少5个小时，hadoop跑完一个流程则需要2个半小时，看来30G是自己使用的硬件在两种方案上的临界点了

今天就准备测试一下