随笔分类 -  Hadoop

Yarn-本地获取任务日志
摘要:Yarn-本地获取任务日志 阅读全文

posted @ 2019-06-02 10:25 嘣嘣嚓 阅读(1313) 评论(0) 推荐(1) 编辑

Hadoop-序列化
摘要:序列化 序列化(serialization)是指将结构化对象转化为字节流以便在网络上传输或写到磁盘进行永久存储的过程。反序列化(deserialization)是指将字节流转回结构化对象的逆过程。序列化在分布式数据处理的两大领域经常出现:进程间通信和永久存储在Hadoop中,系统中多个节点上进程间的 阅读全文

posted @ 2018-08-02 22:28 嘣嘣嚓 阅读(193) 评论(0) 推荐(0) 编辑

Hadoop集群初始化启动
摘要:hadoop集群初始化启动 启动zookeeper ./zkServer.sh start 启动journalnode ./hadoop-daemon.sh start journalnode 格式化namenode hadoop namenode -format 将节点1上的元数据拷贝到2上 先启 阅读全文

posted @ 2018-03-06 20:59 嘣嘣嚓 阅读(876) 评论(0) 推荐(0) 编辑

retry.RetryInvocationHandler (RetryInvocationHandler.java:invoke(140)) - Exception while invoking getFileInfo of class ClientNamenodeProtocolTranslatorPB over bdata236/192.168.1.236:9000 after 3 fail
摘要:报错信息如下 我出现这个问题的原因是两个namenode都是standby状态,发现是因为zkfc没有起来,启动zkfc就OK了。 进入hadoop/bin目录下 还有可能是因为防火墙问题,关闭即可 阅读全文

posted @ 2017-12-20 16:27 嘣嘣嚓 阅读(7767) 评论(0) 推荐(0) 编辑

Hadoop切换namenode为active
摘要:hadoop切换namenode为active 进入hadoop/bin目录下 重新启动zkfc ,hadoop/sbin下 查看50070端口发现切换完毕。 阅读全文

posted @ 2017-12-20 16:22 嘣嘣嚓 阅读(904) 评论(0) 推荐(0) 编辑

CDH离线安装
摘要:1. 安装准备 系统:Centos 6 Cloudera Manager分配如下: 安装版本:CDH-5.8.0 所需安装文件 CDH相关 CDH相关 CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parce 阅读全文

posted @ 2017-11-19 20:42 嘣嘣嚓 阅读(888) 评论(0) 推荐(1) 编辑

Mac安装使用kettle
摘要:kettle是一个ETL工具 下载安装 https://jaist.dl.sourceforge.net/project/pentaho/Data Integration/ 选择版本后下载,并解压,如图 安装后有一个data-integration文件夹,里边有一个spoon.sh,terminal 阅读全文

posted @ 2017-11-09 18:15 嘣嘣嚓 阅读(6841) 评论(0) 推荐(0) 编辑

统计apachelog各访问状态个数(使用MapReduce)
摘要:统计日志文件中各访问状态的个数. 1.将日志数据上传到hdfs 路径 /mapreduce/data/apachelog/in 中 内容如下 2.代码 3.将代码生成jar包 4.调用 EFdeMacBook-Pro:hadoop-2.8.0 FengZhen$ hadoop jar /Users/ 阅读全文

posted @ 2017-09-13 15:44 嘣嘣嚓 阅读(366) 评论(0) 推荐(0) 编辑

启动Hadoop时DFSZKFailoverController没有启动
摘要:在启动Hadoop成功后,并没有报错信息,jps查看进程,发现DFSZKFailoverController没有启动成功,后来发现是因为防火墙的原因,关掉重试就OK了 阅读全文

posted @ 2017-08-10 23:10 嘣嘣嚓 阅读(1087) 评论(0) 推荐(0) 编辑

Hadoop 运行jar包时 java.lang.ClassNotFoundException: Class com.zhen.mr.RunJob$HotMapper not found
摘要:错误如下 错误出现之前还有警告提示,如下 提示说没有设置job jar 解决方法: 代码中给job对象set一下 然后再打包运行就ok了。 阅读全文

posted @ 2017-08-07 23:25 嘣嘣嚓 阅读(2015) 评论(0) 推荐(0) 编辑

Hadoop-HA配置详细步骤
摘要:1. HA服务器配置 对hdfs做高可用 1.1服务器详情 服务器:centos7 Hadoop:2.6.5 Jdk:1.8 共四台服务器 192.168.1.111 node1 192.168.1.112 node2 192.168.1.113 node3 192.168.1.114 node4 阅读全文

posted @ 2017-08-06 14:43 嘣嘣嚓 阅读(1209) 评论(0) 推荐(0) 编辑

格式化namenode时 报错 No Route to Host from node1/192.168.1.111 to node3:8485 failed on socket timeout exception: java.net.NoRouteToHostException: No route to host
摘要:报错内容如上,在格式化namenode时报错,系统为centos7 原因:关闭防火墙时用的service iptables stop 解决方法:使用命令 systemctl stop firewalld 来关闭防火墙 再次格式化namenode,成功。 阅读全文

posted @ 2017-08-05 20:29 嘣嘣嚓 阅读(1224) 评论(1) 推荐(1) 编辑

Hadoop 2.x 之 HA 简介
摘要:HA结构图 HA是用来解决单点故障问题 DN: DataNode,启动时会往所有的NameNode汇报 NN: NameNode(主 Active(一个) 备 Standby(可以有多个)) JournalNodes:JournalNodes就是用来存储元数据的,是一个集群,节点数量必须为奇数个。 阅读全文

posted @ 2017-07-28 00:01 嘣嘣嚓 阅读(300) 评论(0) 推荐(0) 编辑

Hadoop 2.x简介
摘要:Hadoop 2.0产生背景 Hadoop1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题 HDFS存在的问题 NameNode单点故障,难以应用于在线场景 NameNode压力过大,且内存受限,影响系统扩展性 MapReduce存在的问题 JobTracker访问压力大,影响系统 阅读全文

posted @ 2017-07-27 23:42 嘣嘣嚓 阅读(489) 评论(0) 推荐(0) 编辑

HDFS简介
摘要:1.HDFS介绍 HDFS 为了做到可靠性( reliability ) 创建了多份数据块(data blocks)的复制(replicas) ,并将它们放置在服务器群的计算节点中(compute nodes),MapReduce就可以在它们所在的节点上处理这些数据了。 1.1.HDFS结构 Nam 阅读全文

posted @ 2017-07-18 23:45 嘣嘣嚓 阅读(489) 评论(0) 推荐(0) 编辑

Exception in thread "main" java.io.IOException: Mkdirs failed to create /var/folders/q0/1wg8sw1x0dg08cmm5m59sy8r0000gn/T/hadoop-unjar6090005653875084137/META-INF/license at org.apache.hadoop.util.Run
摘要:在使用hadoop运行jar时出现。 解决方法 完美解决。 阅读全文

posted @ 2017-07-05 17:12 嘣嘣嚓 阅读(1041) 评论(0) 推荐(0) 编辑

Mac下配置Hadoop环境
摘要:下载Hadoop(我下载的是2.8.0版本) 点击此处下载 下载后,使用 解压tar包,解压完成后有这样一个文件出现 修改Hadoop的配置文件 需要修改的配置文件在Hadoop安装路径下的 etc/hadoop中 需要修改的文件包括 hadoop-env.sh core-site.xml hdfs 阅读全文

posted @ 2017-06-04 14:29 嘣嘣嚓 阅读(10835) 评论(3) 推荐(1) 编辑

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8
点击右上角即可分享
微信分享提示