会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
lazy pig~
青灯古佛,不见笑傲江湖...
Powered by
博客园
博客园
|
首页
|
新随笔
|
联系
|
订阅
|
管理
上一页
1
···
9
10
11
12
13
14
15
下一页
2019年1月28日
HBase分布式集群部署
摘要: 1.解压tar -zxvf 2.软连接 ln -s .... 3.修改配置文件: hbase-site.xml如果用户需要增加HDFS的特定配置就要添加到hdfs-site.xml文件中,同样在hbase中,用户需要增加配置信息,就要将配置添加到conf/hbase-site.xml 进程启动后,服
阅读全文
posted @ 2019-01-28 15:48 青衣怒马
阅读(158)
评论(0)
推荐(0)
编辑
HBase
摘要: HBase简介:分布式数据库是构建在HDFS上的分布式列存储数据库(Mysql,Oracle是行数据库),是一个高可靠性,高性能,面向列。可伸缩的分布式存储系统 列式存储允许用户存储海量的数据到相同表中,而在传统数据库中,海量数据需要被切分为多个表进行存储行键 不宜过长,否则会占用大量的存储空间降低
阅读全文
posted @ 2019-01-28 15:29 青衣怒马
阅读(115)
评论(0)
推荐(0)
编辑
Mapreduce提交YARN集群运行
摘要: Eclipse项目打包1.export2.通过maven打包,切入到项目目录下执行命令mvn clean package Mapreduce提交YARN集群运行 将jar包传到hadoop目录下运行格式:bin/hadoop jar jar包名 包名(代码的包名).类名 +参数(输入路径输出路径)就
阅读全文
posted @ 2019-01-28 15:13 青衣怒马
阅读(135)
评论(0)
推荐(0)
编辑
MapReduce编程模型
摘要: 概述: 2.MapReduce编程模型
阅读全文
posted @ 2019-01-28 15:01 青衣怒马
阅读(115)
评论(0)
推荐(0)
编辑
YARN
摘要: YARN 概述:是hadoop2.x版本引入的资源管理系统直接从MR1演化而来新的hadoop资源管理器,通用的资源管理器可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率,资源统一管理和数据共享等方面带来了巨大的好处核心思想:将MapReduce1中的JobTracker的资源管理和作业
阅读全文
posted @ 2019-01-28 14:55 青衣怒马
阅读(881)
评论(0)
推荐(0)
编辑
HDFS安装
摘要: HDFS安装1.下载Hadoop安装包hadoop-2.6.0-cdh5.10.0.tar.gz上传至app目录解压软连接2.修改配置文件vi hdfs-site.xml vi hdfs-site.xml vi core-site.xml vi slaves vi hadoop-env.sh 3.测
阅读全文
posted @ 2019-01-28 14:41 青衣怒马
阅读(197)
评论(0)
推荐(0)
编辑
HDFS(hadoop分布式文件管理系统)
摘要: HDFS结构 概述:是Hadoop项目的核心子项目。是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上 pc server高容错性 :自动保存多个副本来增加容错性 如果某一个副本丢失,HDFS机制会复制其他机器上的副本,透明实现 支持超大
阅读全文
posted @ 2019-01-28 12:51 青衣怒马
阅读(1958)
评论(0)
推荐(0)
编辑
2019年1月27日
Hadoop的单机模式,伪分布式和完全分布式
摘要: 1.单机(非分布式)模式 这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统。 2.伪分布式运行模式 这种模式也是在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,S
阅读全文
posted @ 2019-01-27 11:25 青衣怒马
阅读(474)
评论(0)
推荐(0)
编辑
2019年1月19日
Zookeeper 概述
摘要: Zookeeper概述: 分布式应用 协调服务 分布式锁服务 配置维护 组服务 分布式消息队列 分布式通知封装好容易出错的关键服务 最终一致性:无论连接到哪个server,展示给的都是一个serer实时性 不能保证两个客户端能同时得到刚更新的数据,如果需要最新数据,应该在读数据前调用sync接口等待
阅读全文
posted @ 2019-01-19 20:59 青衣怒马
阅读(180)
评论(0)
推荐(0)
编辑
ssh免密码登录(centos)
摘要: 主要是用来在启动或者停止的时候需要主节点通过ssh协议将从节点上面的进程启动或者停止,也就是说如果不配置ssh,需要在启动和停止hadoop的时候需要输入每个从节点的用户名和密码,但规模比较大的时候比较麻烦 创建目录 mkdir .sshls -a 可以查看已经创建的生成密钥输入命令 ssh-key
阅读全文
posted @ 2019-01-19 20:49 青衣怒马
阅读(134)
评论(0)
推荐(0)
编辑
上一页
1
···
9
10
11
12
13
14
15
下一页