04 2018 档案

Hadoop — Yarn原理解析
摘要：1. 概述 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台；而MapReduce等运算程序则相当运行于操作系统之上的应用程序。 2. YARN的重要概念 1、yarn并不清楚用户提交的程序的运行机制；2、yarn只提供运算资源的调度(用户程序向yarn申 阅读全文
posted @ 2018-04-30 03:13 牧梦者 阅读(837) 评论(0) 推荐(0) 编辑
Hadoop — MapReduce原理解析
摘要：1. 概述 Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上； 1.1 MapReduce的诞生背景 背景原因 阅读全文
posted @ 2018-04-29 17:53 牧梦者 阅读(1408) 评论(0) 推荐(1) 编辑
elasticSearch基本使用
摘要：1. elasticsearch 命令的基本格式 RESTful接口URL的格式： http://localhost:9200/<index>/<type>/[<id>] 其中index、type是必须提供的。id是可选的，不提供es会自动生成。index、type将信息进行分层，利于管理。inde 阅读全文
posted @ 2018-04-24 00:07 牧梦者 阅读(20236) 评论(0) 推荐(1) 编辑
elasticSearch安装部署
摘要：1.1 从官网下载安装包，并通过Xftp5上传到机器集群上 下载elasticsearch-6.2.4.tar.gz版本，并通过Xftp5上传到hadoop机器集群的第一个节点node1上的/opt/uploads/目录： 1.2 解压elasticsearch-6.2.4.tar.gz，并把解压的 阅读全文
posted @ 2018-04-19 20:59 牧梦者 阅读(539) 评论(0) 推荐(0) 编辑
logstash日志采集工具的安装部署
摘要：1.从官网下载安装包，并通过Xftp5上传到机器集群上 下载logstash-6.2.3.tar.gz版本，并通过Xftp5上传到hadoop机器集群的第一个节点node1上的/opt/uploads/目录： 2、解压logstash-6.2.3.tar.gz，并把解压的安装包移动到/opt/app 阅读全文
posted @ 2018-04-17 22:56 牧梦者 阅读(12629) 评论(0) 推荐(1) 编辑
Kafka安装部署
摘要：1.从官网下载安装包，并通过Xftp5上传到机器集群上 下载kafka_2.11-1.1.0.tgz版本，并通过Xftp5上传到hadoop机器集群的第一个节点node1上的/opt/uploads/目录： 2、解压kafka_2.11-1.1.0.tgz，并把解压的安装包移动到/opt/app/目 阅读全文
posted @ 2018-04-17 01:05 牧梦者 阅读(624) 评论(0) 推荐(0) 编辑
Redis基本概念、基本使用与单机集群部署
摘要：1. Redis基础 1.1 Redis概述 Redis是一个开源、先进的key-value存储，并用于构建高性能、可扩展的应用程序的完美解决方案。 Redis从它的许多竞争继承了三个主要特点： ①Redis数据库完全在内存中，使用磁盘仅用于持久性； ②相比许多键值对数据存储，Redis拥有一套较为 阅读全文
posted @ 2018-04-15 00:23 牧梦者 阅读(1937) 评论(0) 推荐(0) 编辑
Storm安装部署
摘要：1.从官网下载安装包，并通过Xftp5上传到机器集群上 下载apache-storm-1.2.1.tar.gz 版本，并通过Xftp5上传到hadoop机器集群的第一个节点node1上的/opt/uploads/目录： 2、解压apache-storm-1.2.1.tar.gz，并把解压的安装包移动 阅读全文
posted @ 2018-04-13 23:25 牧梦者 阅读(498) 评论(0) 推荐(0) 编辑
HBase单机和集群版部署
摘要：1. HBase安装部署 HBase有两种部署模式：单机版模式和集群版模式。无论哪种模式，都需要配置HBase conf目录下的文件。至少，必须在conf/hbase-env.sh文件中添加JAVA_HOME。在hbase-env.sh这个文件中，可以设置HBase的环境变量，如堆内存大小、JVM的 阅读全文
posted @ 2018-04-13 13:06 牧梦者 阅读(6330) 评论(9) 推荐(0) 编辑
HBase基本概念与基本使用
摘要：1. HBase简介 1.1 什么是HBase HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成 阅读全文
posted @ 2018-04-13 12:57 牧梦者 阅读(87075) 评论(11) 推荐(21) 编辑
Hive基础概念、安装部署与基本使用
摘要：1. Hive简介 1.1 什么是Hive Hives是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 1.2 为什么使用Hive ① 直接使用Hadoop面临人员学习成功太高、项目周期要求太短、MapReduce实现复杂查询逻辑开发难度太大等 阅读全文
posted @ 2018-04-12 11:26 牧梦者 阅读(1853) 评论(0) 推荐(0) 编辑
Hadoop — HDFS的概念、原理及基本操作
摘要：1. HDFS的基本概念和特性 设计思想——分而治之：将大文件、大批量文件分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析。在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spark，tez，....）提供数据存储服务。 1.1 HDFS的概念 首先，它是一 阅读全文
posted @ 2018-04-07 03:34 牧梦者 阅读(2175) 评论(0) 推荐(1) 编辑
RPC原理解析
摘要：1.RPC原理解析 1.1 什么是RPC RPC(Remote Procedure Call Protocol)——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP/IP或UDP，为通信程序之间携带信息数据。RP 阅读全文
posted @ 2018-04-01 23:59 牧梦者 阅读(25052) 评论(8) 推荐(10) 编辑

点击右上角即可分享
微信分享提示