Fork me on GitHub
2015年6月18日
用几条shell命令快速去重10G数据
摘要： 试想一下，如果有10G数据，或者更多；怎么才能够快速地去重呢？你会说将数据导入到数据库（mysql等）进行去重，或者用java写个程序进行去重，或者用Hadoop进行处理。如果是大量的数据要写入数据库也不是一件容易的事情，首先你需要开发一个程序将数据写入数据库，然后再用数据库的select di... 阅读全文
posted @ 2015-06-18 18:17 秋楓 阅读(12213) 评论(9) 推荐(2) 编辑