hadoop的hdfs中的javaAPI操作
摘要:package cn.itcast.bigdata.hdfs; import java.net.URI; import java.util.Iterator; import java.util.Map.Entry; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; impo...
阅读全文
posted @
2017-03-29 21:05
Eddyer
阅读(6426)
推荐(0) 编辑
hadoop2.6.4集群笔记
摘要:恢复内容开始 一,linux下的准备工作 1,修改主机名: 2,修改ip vi /etc/sysconfig/network-scripts/ifcfg-eth0 3,修改主机名和ip的映射 vi /etc/hosts 4,关闭防火墙 5,在生产坏境中,操作linux不可能用root用户,最好添加一
阅读全文
posted @
2017-03-29 11:54
Eddyer
阅读(270)
推荐(0) 编辑
hive的使用
摘要:1,前言 书接上回,接着对上一个hive安装后环境下的hive使用。
阅读全文
posted @
2017-03-09 19:03
Eddyer
阅读(179)
推荐(0) 编辑
三台linux集群hadoop,在此上面运行hive
摘要:恢复内容开始 一,准备 先有三台linux,对hadoop集群的搭建。 eddy01:开启一个hdfs的老大namenode,yarn的老大ResourceManager其中进程包括(NodeManager,ResourceManager,NameNode,SecondaryNameNode) ed
阅读全文
posted @
2017-03-08 19:11
Eddyer
阅读(1445)
推荐(0) 编辑
hadoop2.4集群的搭建
摘要:hadoop中的三大组件: hdfs:分布式文件管理系统 (namenode管理所有的datanode) yarn:资源调度系统(ResourceManager管理所有的nodemanager) mapreduce:(程序,算法) hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA 注意:apach...
阅读全文
posted @
2017-03-07 17:54
Eddyer
阅读(303)
推荐(0) 编辑
hadoop2.4的伪集群的搭建
摘要:1.准备Linux环境 1.0先将虚拟机的网络模式选为NAT 1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### 1.2修改IP 两种方式: 第一种:通过Linu...
阅读全文
posted @
2017-03-07 17:47
Eddyer
阅读(557)
推荐(0) 编辑
linux 下的ssh免密登陆设置
摘要:一,原理 说明: A为linux服务器a B为linux服务器b 每台linux都有ssh的服务端和客户端,linux下的ssh命令就是一个客户端 我们常用ssh协议来进行登陆或者是文件的拷贝,都需要密码 A要免密登陆B: 1,需要在a中执行ssh-keygen生成自己的公钥和私钥,生成的文件在.s
阅读全文
posted @
2017-03-07 12:45
Eddyer
阅读(1287)
推荐(0) 编辑
linux 下的常用操作命令
摘要:一,Linux的介绍 略。 二,文件类的常用命令 三,权限类的常用命令
阅读全文
posted @
2017-03-07 12:28
Eddyer
阅读(126)
推荐(0) 编辑
linux中的IP地址的修改
摘要:一,图形界面,setup 二,修改文件 1,修改主机名字 2,修改IP地址 3,修改ip和主机名的映射
阅读全文
posted @
2017-03-06 21:25
Eddyer
阅读(3027)
推荐(0) 编辑