摘要：
一个文明的发展离不开数据，数据包括我们看到的，听到的，只要能存储的东西都称之为数据。 在没有计算机之前，我们只能通过器具，骨头，纸制品来进行存储。这些介质也限制了我们只能存储文字和手工绘画，我们一起来看看古代都有哪些存储介质： 一.古代的存储介质 1.1甲骨文 现存中国最早的文字，大多是书写或契刻在 阅读全文
摘要：
一、简介 ApacheKafka 是一个分布式的流处理平台。它具有以下特点： 支持消息的发布和订阅，类似于 RabbtMQ、ActiveMQ 等消息队列； 支持数据实时处理； 能保证消息的可靠性投递； 支持消息的持久化存储，并通过多副本分布式的存储方案来保证消息的容错； 高吞吐率，单 Broker 阅读全文
摘要：
1.Storm在Linux环境配置 主机名 tuge1 tuge2 tuge3 部署环境 Zookeeper/Nimbus Zookeeper/Supervisor Zookeeper/Supervisor （部署一览图） 1.1 配置Zookeeper环境（三台机器都要配置，可以先配置一台，然 阅读全文
摘要：
1.流式计算是什么? 流式计算是相对于批处理来说的，我们以前学的Mapreduce就是批处理，它属于离线计算，计算的数据都是过去某个时间点的，还有我们开发的软件管理系统，查询的也是过去某个时刻录入的数据。那么流式计算呢，它是在输入录入的时候就开始计算了，而且计算的速度还很快，可以达到毫秒级，计算完成 阅读全文
摘要：
1.要求和支持的版本 （PS:我使用的环境，都用加粗标识了。） 1.1 支持的操作系统版本 操作系统 版本 RHEL/CentOS/OL with RHCK kernel 7.6, 7.5, 7.4, 7.3, 7.2,6.10, 6.9 , 6.8 Oracle Linux (OL) 7.4, 7 阅读全文
摘要：
1.CDH概述 CDH（Cloudra's Distribution Apache Of Hadoop）是Apache Hadoop和相关项目的最完整，经过测试和最流行的发行版。CDH提供Hadoop的核心要素–可扩展的存储和分布式计算–以及基于Web的用户界面和重要的企业功能。CDH是Apache 阅读全文
摘要：
一、Flume安装 参考：Flume 简介及基本使用 二、Sqoop安装 参考：Sqoop简介与安装 三、Flume和Sqoop结合使用案例 日志分析系统整体架构图： 3.1配置nginx环境 请参考菜鸟教程： https://www.runoob.com/linux/nginx-install-s 阅读全文
摘要：
在2.0之前HDFS中只有一个NameNode，但对于在线的应用只有一个NameNode是不安全的，故在2.0中对NameNode进行抽象，抽象成NamService其下包含有多个NameNode，但只有一个运行在活跃状态，因此需要zookeeper进行选举和自动转换。一旦active当掉之后zoo 阅读全文
摘要：
参考： https://blog.csdn.net/u012848709/article/details/83744699 自己照着搭建了下，顺便把坑也踩了下，项目见云盘： 链接：https://pan.baidu.com/s/1A_ZutmadXRIKJhPYxvg_bw 提取码：49l3 阅读全文
摘要：
一、简述 截至到目前 (2019.04)，HBase 有两个主要的版本，分别是 1.x 和 2.x ，两个版本的 Java API 有所不同，1.x 中某些方法在 2.x 中被标识为 @deprecated 过时。所以下面关于 API 的样例，我会分别给出 1.x 和 2.x 两个版本。完整的代码见 阅读全文