10G数据不用框架快速去重
摘要：
试想一下，如果有10G数据，或者更多；怎么才能够快速地去重呢？你会说将数据导入到数据库（mysql等）进行去重，或者用java写个程序进行去重，或者用Hadoop进行处理。如果是大量的数据要写入数据库也不是一件容易的事情，首先你需要开发一个程序将数据写入数据库，然后再用数据库的se... 阅读全文
posted @ 2016-03-10 11:32 爱你一万年123 阅读(178) 评论(0) 推荐(0) 编辑
