02 2016 档案

[Algorithm] 使用SimHash进行海量文本去重
摘要：在之前的两篇博文分别介绍了常用的hash方法（[Data Structure & Algorithm] Hash那点事儿）以及局部敏感hash算法（[Algorithm] 局部敏感哈希算法(Locality Sensitive Hashing)），本文介绍的SimHash是一种局部敏感hash，它也 阅读全文
posted @ 2016-02-20 14:07 Poll的笔记 阅读(37811) 评论(8) 推荐(16) 编辑
[Hadoop] Hadoop学习历程 [持续更新中…]
摘要：1. Hadoop FS Shell Hadoop之所以可以实现分布式计算，主要的原因之一是因为其背后的分布式文件系统（HDFS）。所以，对于Hadoop的文件操作需要有一套全新的shell指令来完成，而这就是Hadoop FS Shell。它主要是用于对Hadoop平台进行文件系统的管理。 有关H 阅读全文
posted @ 2016-02-05 15:16 Poll的笔记 阅读(2173) 评论(4) 推荐(1) 编辑