silvan_happy - 博客园

2021年11月6日

摘要：一、了解Redis (一) Redis历史 2008年，意大利的一家创业公司Merzia推出了一款基于MySQL的网站实时统计系统LLOOGG，然而没过多久该公司的创始人 Salvatore Sanfilippo便对MySQL的性能感到失望，于是他决定亲自为LLOOGG量身定做一个数据库，并于20 阅读全文

posted @ 2021-11-06 17:23 silvan_happy 阅读(507) 评论(0) 推荐(0) 编辑

第九章 Docker安装及配置

摘要：第九章 Docker安装及配置 1、Docker简介官网查看 2、Docker安装（CentOS） 2.1 系统要求OS requirements To install Docker Engine, you need a maintained version of CentOS 7. Archiv 阅读全文

posted @ 2021-11-06 12:09 silvan_happy 阅读(1261) 评论(0) 推荐(0) 编辑

第八章 Spark安装及配置

摘要：第八章 Spark安装及配置一、Spark简介官方文档：http://spark.apache.org/ Lightning-fast cluster computing：快如闪电的集群计算。 Apache Spark™ is a unified analytics engine for lar 阅读全文

posted @ 2021-11-06 11:30 silvan_happy 阅读(232) 评论(0) 推荐(0) 编辑

2021年10月31日

第七章 Scala编程基础

摘要： Scala是Scalable Language的简写，是一门多范式的编程语言，由联邦理工学院洛桑（EPFL）的Martin Odersky于2001年基于Funnel的工作开始设计，设计初衷是要集成面向对象编程和函数式编程的各种特性。因此Scala是一种面向对象的语言，每个值都是对象。同时Scala 阅读全文

posted @ 2021-10-31 16:18 silvan_happy 阅读(607) 评论(0) 推荐(0) 编辑

2021年10月30日

第六章 Kafka消息队列

摘要：主要内容： Kafka概述 Kafka集群部署 Kafka与Flume比较 6.1 Kafka概述 6.1.1 消息队列消息系统负责将数据从一个应用程序传输到另一个应用程序，因此应用程序可以专注于数据本身，而不用担心如何共享它。消息系统有两种消息模式可用点对点消息系统发布 - 订阅(pub- 阅读全文

posted @ 2021-10-30 10:41 silvan_happy 阅读(312) 评论(0) 推荐(0) 编辑

2021年10月25日

第五章 Flume日志采集系统

摘要：主要内容：了解Flume Flume安装部署 HDFS Sink 5.1 了解Flume 1) Flume概述 Flume是Cloudera提供的一个高可用，高可靠的，分布式的海量日志采集、聚合和传输的软件。 Flume的核心是把数据从数据源（source）收集过来，再将收集到的数据送到指定的目的阅读全文

posted @ 2021-10-25 20:26 silvan_happy 阅读(950) 评论(0) 推荐(0) 编辑

2021年10月19日

第四章 Hive安装及配置

摘要： 4.1环境准备 4.1.1 启动Hadoop 4.1.2 安装MySQL 1、安装包将安装包复制到目录/usr/local/，当前使用版本如下： mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz 解压： #tar xzvf mysql-5.7.22-linux- 阅读全文

posted @ 2021-10-19 20:57 silvan_happy 阅读(1582) 评论(0) 推荐(0) 编辑

2021年10月14日

第3章 HBase完全分布式集群搭建

摘要：主要内容： HBase简介 Hadoop、HBase和Hive三者关系启动Hadoop集群 ZooKeeper集群的部署 HBase集群的部署 3.-1 HBase简介数据模型概述： 1) HBase是一个稀疏、多维度、排序的映射表，这张表的索引是行键、列族、列限定符和时间戳 2) 每个值是一个阅读全文

posted @ 2021-10-14 20:12 silvan_happy 阅读(672) 评论(0) 推荐(0) 编辑

2021年10月13日

第2章大数据处理架构Hadoop（二）

摘要： 2.4 分布式文件系统HDFS及其命令 2.4.1 分布式文件系统与HDFS（Distributed File System）数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件阅读全文

posted @ 2021-10-13 20:35 silvan_happy 阅读(196) 评论(0) 推荐(0) 编辑

第2章大数据处理架构Hadoop （一）

摘要：第2章大数据处理架构Hadoop In pioneer days they used oxen for heavy pulling, and when one ox couldn’t budge a log,they didn’t try to grow a larger ox. We shoul 阅读全文

posted @ 2021-10-13 19:48 silvan_happy 阅读(449) 评论(0) 推荐(0) 编辑

zhouyeqin

公告