数据结构与算法 - 随笔分类 - 夏至冬末

信息论的熵

摘要：1. 前言熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度。在信息论里则叫信息量,即熵是对不确定性的度量。从控制论的角度来看，应叫不确定性。信息论的创始人香农在其著作《通信的数学理论》中提出了建立在概率统计模型上的信息度量。他把信息定义为“用来消除不确定性的东西”。在信息世界，熵越高，... 阅读全文

posted @ 2014-05-28 16:48 夏至冬末阅读(810) 评论(0) 推荐(0) 编辑

五大主流数据库模型

摘要：导读：无论是关系型数据库还是非关系型数据库，都是某种数据模型的实现。本文将为大家简要介绍5种常见的数据模型，让我们来追本溯源，窥探现在流行的数据库解决方案背后的神秘世界。什么是数据模型？访问数据库中的数据取决于数据库实现的数据模型。数据模型会影响客户端通过API对数据的操作。不同的数据模型可能会提供... 阅读全文

posted @ 2013-10-09 19:23 夏至冬末阅读(3715) 评论(0) 推荐(0) 编辑

解读Google分布式锁服务

摘要：背景介绍在2010年4月，Google的网页索引更新实现了实时更新，在今年的OSDI大会上，Google首次公布了有关这一技术的论文。在此之前，Google的索引更新，采用的的批处理的方式(map/reduce)，也就是当增量数据达到一定规模之后，把增量数据和全量索引库Join，得到最新的索引数据。... 阅读全文

posted @ 2013-01-06 20:45 夏至冬末阅读(194) 评论(0) 推荐(0) 编辑

使用Storm实现实时大数据分析

摘要：摘要：随着数据体积的越来越大，实时处理成为了许多机构需要面对的首要挑战。Shruthi Kumar和Siddharth Patankar在Dr.Dobb’s上结合了汽车超速监视，为我们演示了使用Storm进行实时大数据分析。CSDN在此编译、整理。简单和明了，Storm让大数据分析变得轻松加愉快。当... 阅读全文

posted @ 2012-12-31 10:12 夏至冬末阅读(184) 评论(0) 推荐(0) 编辑

大数据计算：如何仅用1.5KB内存为十亿对象计数

摘要：Big Data Counting: How To Count A Billion Distinct Objects Using Only 1.5KThis is a guest post by Matt Abrams (@abramsm), from Clearspring, ... 阅读全文

posted @ 2012-12-25 18:58 夏至冬末阅读(422) 评论(0) 推荐(0) 编辑

数学算法那些事

摘要：1. 三种方法求最大公约数1、连续整数检测法.此算法比较简单：/** * greatest common divisor * * @param int $a * @param int $b */function gcd($a, $b){ $t = $a> $b ?$b :$a; wh... 阅读全文

posted @ 2012-12-24 19:59 夏至冬末阅读(171) 评论(0) 推荐(0) 编辑

细数二十世纪最伟大的十大算法

摘要：参考论文：The Best of the 20th Century: Editors Name Top 10 Algorithms。By Barry A. Cipra。地址：http://www.uta.edu/faculty/rcli/TopTen/topten.pdf。博主说明:1、此20世纪的... 阅读全文

posted @ 2012-11-13 17:33 夏至冬末阅读(302) 评论(0) 推荐(0) 编辑

Trie树：应用于统计和排序

摘要：1. 什么是trie树 1.Trie树（特例结构树） Trie树，又称单词查找树、字典树，是一种树形结构，是一种哈希树的变种，是一种用于快速检索的多叉树结构。典型应用是用于统计和排序大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。它的优点是：最大限度地减少无谓的字符串比... 阅读全文

posted @ 2012-10-31 17:08 夏至冬末阅读(215) 评论(0) 推荐(0) 编辑

链接分析算法之：HillTop算法

摘要：Hilltop算法是由Krishna Baharat 在2000年左右研究的，于2001年申请专利，但是有很多人以为Hilltop算法是由谷歌研究的。只不过是Krishna Baharat 后来加入了Google成为了一名核心工程师，然后授权给Google使用的。在与PageRank算法相比之下... 阅读全文

posted @ 2012-09-26 17:04 夏至冬末阅读(287) 评论(0) 推荐(0) 编辑

链接分析算法之：SALSA算法

摘要：SALSA算法的初衷希望能够结合PageRank和HITS算法两者的主要特点，既可以利用HITS算法与查询相关的特点，也可以采纳PageRank的“随机游走模型”，这是SALSA算法提出的背景。由此可见，SALSA算法融合了PageRank和HITS算法的基本思想，从实际效果来说，很多实验数据表明... 阅读全文

posted @ 2012-09-25 17:04 夏至冬末阅读(495) 评论(0) 推荐(0) 编辑

链接分析算法之：HITS算法

摘要：HITS（HITS(Hyperlink - Induced Topic Search) ）算法是由康奈尔大学( Cornell University ) 的Jon Kleinberg 博士于1997 年首先提出的,为IBM 公司阿尔马登研究中心( IBM Almaden Research Cent... 阅读全文

posted @ 2012-09-24 19:53 夏至冬末阅读(422) 评论(0) 推荐(0) 编辑

链接分析算法之：主题敏感PageRank

摘要：前面的讨论提到。PageRank忽略了主题相关性，导致结果的相关性和主题性降低，对于不同的用户，甚至有很大的差别。例如，当搜索“苹果”时，一个数码爱好者可能是想要看 iphone 的信息，一个果农可能是想看苹果的价格走势和种植技巧，而一个小朋友可能在找苹果的简笔画。理想情况下，应该为每个用户维护一... 阅读全文

posted @ 2012-09-23 13:11 夏至冬末阅读(293) 评论(0) 推荐(0) 编辑

PageRank算法

摘要：1. PageRank算法概述 PageRank,即网页排名，又称网页级别、Google左侧排名或佩奇排名。是Google创始人拉里·佩奇和谢尔盖·布林于1997年构建早期的搜索系统原型时提出的链接分析算法，自从Google在商业上获得空前的成功后，该算法也成为其他搜索引擎和学术界十分关注的计算模... 阅读全文

posted @ 2012-09-21 17:02 夏至冬末阅读(217) 评论(0) 推荐(0) 编辑

海量数据处理算法—Bit-Map

摘要：1. Bit Map算法简介来自于《编程珠玑》。所谓的Bit-map就是用一个bit位来标记某个元素对应的Value，而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。2、 Bit Map的基本思想我们先来看一个具体的例子，假设我们要对0-7内的... 阅读全文

posted @ 2012-08-21 16:14 夏至冬末阅读(247) 评论(0) 推荐(0) 编辑

海量数据处理算法—Bloom Filter

摘要：1. Bloom-Filter算法简介 Bloom-Filter，即布隆过滤器，1970年由Bloom中提出。它可以用于检索一个元素是否在一个集合中。 Bloom Filter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。它是... 阅读全文

posted @ 2012-08-14 18:40 夏至冬末阅读(210) 评论(0) 推荐(0) 编辑

海量数据处理算法总结

摘要：前面我们说海量数据处理提到，从算法的角度去考虑处理海量数据。1. Bloom Filter【Bloom Filter】Bloom Filter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。它是一个判断元素是否存在集合的快速的概率算法。... 阅读全文

posted @ 2012-08-14 16:52 夏至冬末阅读(210) 评论(0) 推荐(0) 编辑

B-树和B+树的应用：数据搜索和数据库索引

摘要：B-树1 .B-树定义B-树是一种平衡的多路查找树，它在文件系统中很有用。定义：一棵m 阶的B-树，或者为空树，或为满足下列特性的m 叉树：⑴树中每个结点至多有m 棵子树；⑵若根结点不是叶子结点，则至少有两棵子树；⑶除根结点之外的所有非终端结点至少有[m/2] 棵子树；⑷所有的非终端结点中包含以下信... 阅读全文

posted @ 2012-07-29 11:27 夏至冬末阅读(217) 评论(0) 推荐(0) 编辑

查找 -数据结构

摘要：几种查找算法:顺序查找，折半查找，分块查找，散列表一、顺序查找的基本思想：从表的一端开始，向另一端逐个按给定值kx 与关键码进行比较，若找到，查找成功，并给出数据元素在表中的位置；若整个表检测完，仍未找到与kx 相同的关键码，则查找失败，给出失败信息。说白了就是，从头到尾，一个一个地比，找着相同的就... 阅读全文

posted @ 2012-07-24 16:17 夏至冬末阅读(236) 评论(0) 推荐(0) 编辑

八大排序算法

摘要：概述排序有内部排序和外部排序，内部排序是数据记录在内存中进行排序，而外部排序是因排序的数据很大，一次不能容纳全部的排序记录，在排序过程中需要访问外存。我们这里说说八大排序就是内部排序。当n较大，则应采用时间复杂度为O(nlog2n)的排序方法：快速排序、堆排序或归并排序序。快速排序：是目前基于比... 阅读全文

posted @ 2012-07-23 16:45 夏至冬末阅读(502) 评论(0) 推荐(0) 编辑

图的应用详解-数据结构

摘要：概述最小生成树——无向连通图的所有生成树中有一棵边的权值总和最小的生成树拓扑排序——由偏序定义得到拓扑有序的操作便是拓扑排序。建立模型是AOV网关键路径——在AOE-网中有些活动可以并行地进行，所以完成工程的最短时间是从开始点到完成点的最长路径的长度，路径长度最长的路径叫做关键路径(Critical... 阅读全文

posted @ 2012-07-15 12:02 夏至冬末阅读(370) 评论(0) 推荐(0) 编辑

随笔分类 - 数据结构与算法

搜索

我的标签

随笔分类