随笔分类 - 大数据
摘要：命令行操作： -help 功能：输出这个命令参数手册 -ls 功能：显示目录信息 示例： hadoop fs -ls hdfs://hadoop-server01:9000/ 备注：这些参数中，所有的hdfs路径都可以简写 -->hadoop fs -ls / 等同于上一条命令的效果 -mkdir
阅读全文
摘要：深入理解一个技术的工作机制是灵活运用和快速解决问题的根本方法，也是唯一途径。对于HDFS来说除了要明白它的应用场景和用法以及通用分布式架构之外更重要的是理解关键步骤的原理和实现细节。在看这篇博文之前需要对HDFS以及分布式系统有一些了解。请参考这篇博客。本篇博文首先对HDFS的重要特性和使用场景做一
阅读全文
摘要：要想深入学习HDFS就要先了解其设计思想和架构，这样才能继续深入使用HDFS或者深入研究源代码。懂得了“所以然”才能在实际使用中灵活运用、快速解决遇到的问题。下面这篇博文我们就先从一般的分布式谈起，在宏观上逐步去探究HDFS的设计思想和架构实现。 一.先谈分布式 分布式是近几年非常火的技术概念，无论
阅读全文
摘要：Zookeeper作为分布式系统的底层协调服务有着其简单可依靠的数据模型，数据模型加之数据同步、一致性处理和可靠性，在此之上有很多经典的应用，例如，分布式锁、服务器动态上线下感知、主节点选举、数据发布与订阅、负载均衡等等。虽然应用场景很多，但是最根本的还是基于两个核心的服务，1.管理和存储数据结点，
阅读全文
摘要：BloomFilter算法及其适用场景 BloomFilter是利用类似位图或者位集合数据结构来存储数据，利用位数组来简洁的表示一个集合，并且能够快速的判断一个元素是不是已经存在于这个集合。因为基于Hash来计算数据所在位置，所以BloomFilter的添加和查询操作都是O(1)的。因为存储简洁，这
阅读全文
摘要：一. 说明 Storm是一个分布式实时计算系统，Storm对于实时计算的意义就相当于Hadoop对于批量计算的意义。对于实时性较高的系统Storm是不错的选择。Hadoop提供了map, reduce原语，使批处理程序变得非常地简单和优美。同样，storm也为实时计算提供了一些简单优美的原语。 涉及
阅读全文
摘要：一. 部署前的准备工作 二. 部署Zookeeper集群 tar -xvzf zookeeper-3.4.6.tar.gz 执行以下命令创建数据目录： mkdir /usr/zookeeper/data 执行以下命令创建日志目录： mkdir /usr/zookeeper/data/log 执行以下
阅读全文
