君子博学而日参省乎己 则知明而行无过矣

博客园 首页 新随笔 联系 订阅 管理
  1057 随笔 :: 381 文章 :: 141 评论 :: 169万 阅读

随笔分类 -  数据结构与算法

1 2 3 下一页

数据挖掘算法之协同过滤算法
摘要：协同过滤大概是所谓的集体智慧，由此产生相关哲学上的困惑；我们的自我选择被集体思维所绑架，在群体中逐渐被同化，自由意志沦为集体的工具；如果集体是一群乌合之众，则这个社会陷入所谓的群氓时代，埃利·帕雷瑟（Eli Pariser）在《过滤泡沫》 （Filter Bubble）一书中也表达了类似的忧虑：“这... 阅读全文
posted @ 2015-10-31 22:03 刺猬的温驯 阅读(875) 评论(0) 推荐(0) 编辑

R树空间索引
摘要：R树在数据库等领域做出的功绩是非常显著的。它很好的解决了在高维空间搜索等问题。举个R树在现实领域中能够解决的例子吧：查找20英里以内所有的餐厅。如果没有R树你会怎么解决？一般情况下我们会把餐厅的坐标(x,y)分为两个字段存放在数据库中，一个字段记录经度，另一个字段记录纬度。这样的话我们就需要遍历所有... 阅读全文
posted @ 2015-10-29 22:25 刺猬的温驯 阅读(393) 评论(0) 推荐(0) 编辑

Kd-Tree算法原理和开源实现代码
摘要：本文介绍一种用于高维空间中的快速最近邻和近似最近邻查找技术——Kd-Tree（Kd树）。Kd-Tree，即K-dimensional tree，是一种高维索引树形数据结构，常用于在大规模的高维数据空间进行最近邻查找(Nearest Neighbor)和近似最近邻查找(Approximate Near... 阅读全文
posted @ 2015-10-29 05:16 刺猬的温驯 阅读(1591) 评论(1) 推荐(1) 编辑

simhash与Google的网页去重
摘要：前几天去吃葫芦头的路上，大飞哥给详细的讲解了他在比较文本相似度实验时对Google的simhash方法高效的惊叹，回来特意去找了原文去拜读。Simhash传统IR领域内文本相似度比较所采用的经典方法是文本相似度的向量夹角余弦，其主要思想是根据一个文章中出现词的词频构成一个向量，然后计算两篇文章对应向... 阅读全文
posted @ 2015-05-10 19:07 刺猬的温驯 阅读(298) 评论(0) 推荐(0) 编辑

数据压缩之经典——哈夫曼编码(Huffman)
摘要：(笔记图片截图自课程Image and video processing: From Mars to Hollywood with a stop at the hospital的教学视频，使用时请注意版权要求。)JPEG用哈夫曼编码(Huffman Encoder)作为其符号编码。哈弗曼编码是压缩算... 阅读全文
posted @ 2015-05-02 03:24 刺猬的温驯 阅读(13100) 评论(0) 推荐(1) 编辑

Huffman 编码压缩算法
摘要：前两天发布那个rsync算法后，想看看数据压缩的算法，知道一个经典的压缩算法Huffman算法。相信大家应该听说过David Huffman和他的压缩算法——Huffman Code，一种通过字符出现频率，Priority Queue，和二叉树来进行的一种压缩算法，这种二叉树又叫Huffman二叉树... 阅读全文
posted @ 2015-05-02 03:05 刺猬的温驯 阅读(505) 评论(0) 推荐(0) 编辑

Chord算法（原理）
摘要：Chrod算法是P2P中的四大算法之一，是有MIT（麻省理工学院）于2001年提出，其他三大算法分别是：CANPastryTapestryChord的目的是提供一种能在P2P网络快速定位资源的的算法，Cord并不关心资源是如何存储的，只是从算法层面研究资源的取得，因此Chord的API就简单到只有一... 阅读全文
posted @ 2015-04-04 04:59 刺猬的温驯 阅读(490) 评论(0) 推荐(0) 编辑

lucene字典实现原理
摘要：1 lucene字典 使用lucene进行查询不可避免都会使用到其提供的字典功能，即根据给定的term找到该term所对应的倒排文档id列表等信息。实际上lucene索引文件后缀名为tim和tip的文件实现的就是lucene的字典功能。 怎么实现一个字典呢？我们马上想到排序数组，即term字... 阅读全文
posted @ 2015-03-30 00:50 刺猬的温驯 阅读(313) 评论(0) 推荐(0) 编辑

HashMap原理、源码、实践
摘要：HashMap是一种十分常用的数据结构，作为一个应用开发人员，对其原理、实现的加深理解有助于更高效地进行数据存取。本文所用的jdk版本为1.5。使用HashMap《Effective JAVA》中认为，99%的情况下，当你覆盖了equals方法后，请务必覆盖hashCode方法。默认情况下，这两者会... 阅读全文
posted @ 2015-03-29 18:21 刺猬的温驯 阅读(279) 评论(0) 推荐(0) 编辑

如何处理海量数据
摘要：在实际的工作环境下，许多人会遇到海量数据这个复杂而艰巨的问题，它的主要难点有以下几个方面：一、数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至 过亿，那不是手工能解决的了，必须通过工具或者程序进行处... 阅读全文
posted @ 2015-03-29 05:47 刺猬的温驯 阅读(360) 评论(0) 推荐(0) 编辑

BloomFilter——大规模数据处理利器
摘要：Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合，但是并不严格要求100%正确的场合。一. 实例 为了说明Bloom Filter存在的重要意义，举一个实例： 假设要你写一个网络蜘蛛（web crawler）... 阅读全文
posted @ 2015-03-29 04:43 刺猬的温驯 阅读(237) 评论(0) 推荐(0) 编辑

Bloom Filter 算法简介 (增加 Counting Bloom Filter 内容)
摘要：Bloom Filter的中文翻译叫做布隆过滤器，是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。如文章标题所述，本文只是做简单介绍，属于... 阅读全文
posted @ 2015-03-29 04:28 刺猬的温驯 阅读(3112) 评论(0) 推荐(2) 编辑

Bloom Filter概念和原理
摘要：Bloom Filter是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。Bloom Filter的这种高效是有一定代价的：在判断一个元素是否属于某个集合时，有可能会把不属于这个集合的元素误认为属于这个集合（false positive）。因此，B... 阅读全文
posted @ 2015-03-29 03:57 刺猬的温驯 阅读(419) 评论(0) 推荐(0) 编辑

Trie树的数组实现原理
摘要：Trie(Retrieval Tree)又称前缀树，可以用来保存多个字符串，并且非常便于查找。在trie中查找一个字符串的时间只取决于组成该串的字符数，与树的节点数无关。因此，它的查找速度通常比二叉搜索树更快。trie的结构很简单，每条边表示一个字符，从根节点到叶节点就可以表示一个完整的字符串。所以... 阅读全文
posted @ 2015-03-21 04:12 刺猬的温驯 阅读(759) 评论(0) 推荐(0) 编辑

MySQL索引背后的数据结构及算法原理
摘要：摘要本文以MySQL数据库为研究对象，讨论与数据库索引相关的一些话题。特别需要说明的是，MySQL支持诸多存储引擎，而各种存储引擎对索引的支持也各不相同，因此MySQL数据库支持多种索引类型，如BTree索引，哈希索引，全文索引等等。为了避免混乱，本文将只关注于BTree索引，因为这是平常使用MyS... 阅读全文
posted @ 2015-03-17 00:01 刺猬的温驯 阅读(198) 评论(0) 推荐(0) 编辑

一致性哈希算法及其在分布式系统中的应用
摘要：摘要本文将会从实际应用场景出发，介绍一致性哈希算法（Consistent Hashing）及其在分布式系统中的应用。首先本文会描述一个在日常开发中经常会遇到的问题场景，借此介绍一致性哈希算法以及这个算法如何解决此问题；接下来会对这个算法进行相对详细的描述，并讨论一些如虚拟节点等与此算法应用相关的话题... 阅读全文
posted @ 2015-03-16 23:57 刺猬的温驯 阅读(189) 评论(0) 推荐(0) 编辑

SkipList 跳表
摘要：为什么选择跳表目前经常使用的平衡数据结构有：B树，红黑树，AVL树，Splay Tree, Treep等。想象一下，给你一张草稿纸，一只笔，一个编辑器，你能立即实现一颗红黑树，或者AVL树出来吗？ 很难吧，这需要时间，要考虑很多细节，要参考一堆算法与数据结构之类的树，还要参考网上的代码，相当麻烦。用... 阅读全文
posted @ 2015-03-16 23:35 刺猬的温驯 阅读(196) 评论(0) 推荐(0) 编辑

一致性哈希算法和Go语言实现
摘要：一致性哈希算法，当我第一次听到这个名字的时候，感觉特别高深。而它往往会和分布式系统相关，准确的说，是分布式缓存。在Web服务中，缓存是介于数据库和服务端程序之间的一个东西。在网站的业务还不是很大的时候，一般不会需要这个东西，每次都可以从数据库中查询获得数据，但是随着网站的访问量增大，每次请求都访问数... 阅读全文
posted @ 2014-11-23 16:04 刺猬的温驯 阅读(1983) 评论(0) 推荐(0) 编辑

一致性hash和solr千万级数据分布式搜索引擎中的应用
摘要：互联网创业中大部分人都是草根创业，这个时候没有强劲的服务器，也没有钱去买很昂贵的海量数据库。在这样严峻的条件下，一批又一批的创业者从创业中获得成功，这个和当前的开源技术、海量数据架构有着必不可分的关系。比如我们使用mysql、nginx等开源软件，通过架构和低成本服务器也可以搭建千万级用户访问量的系... 阅读全文
posted @ 2014-10-17 17:14 刺猬的温驯 阅读(391) 评论(0) 推荐(0) 编辑

选择置换+败者树搞定外部排序
摘要：个人认为，外部排序是我们在学习过程中接触到的一个比较重要的算法，它既包含了基本的排序算法，又考察了对文件IO以及内存的理解，还展示了最基本的程序优化思想，可以说能够写好一个外部排序，就说明基本的编程能力已经过关了。本文将对整个外部排序的过程进行详细的分析，并介绍两个经典算法，最后附上完整的程序代码。... 阅读全文
posted @ 2014-08-22 15:42 刺猬的温驯 阅读(2752) 评论(0) 推荐(0) 编辑

1 2 3 下一页
点击右上角即可分享
微信分享提示