随笔分类 -  Hadoop

摘要:1 异常信息 2 原因 因为core-site.xml 和 hdfs-site.xml配置了不一致的Hadoop.tmp.dir 目录,导致总是出现问题,删除掉core-site.xml中的tmp.dir配置,统一配置到hdfs-site.xml中 hdfs-site.xml中的dir配置 阅读全文
posted @ 2019-05-30 21:16 Questions张 阅读(714) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2019-03-01 15:07 Questions张 阅读(592) 评论(0) 推荐(0) 编辑
摘要:1 详细报错 + cat+ +| Error: JAVA_HOME is not set and Java could not be found |+ +| Please download the latest Oracle JDK from the Oracle Java web site || 阅读全文
posted @ 2019-02-26 12:58 Questions张 阅读(1887) 评论(0) 推荐(0) 编辑
摘要:1因为是重装很多环境ok A mysql环境ok B 防火墙ok C hostname绑定也没有问题 D jdk也是ok E root用户,所以不涉及权限,如果不是请设置sudo权限用户 F ntp服务正常 G httpd服务正常 H 本地yum源配置正常 I mysql连接驱动之前也有没有删除,正 阅读全文
posted @ 2019-02-26 11:22 Questions张 阅读(1528) 评论(0) 推荐(0) 编辑
摘要:#####################删除前最好将之前的下载的rpm包和parcels包备份一下##################### 1.停止serviceservice cloudera-scm-agent stopservice cloudera-scm-server stop 2.暴 阅读全文
posted @ 2019-02-26 10:28 Questions张 阅读(458) 评论(0) 推荐(0) 编辑
摘要:1 详细错误 2 原因,因为我配置的是本地库,所以自然连不了,检查状态是启动的状态 阅读全文
posted @ 2019-02-25 23:48 Questions张 阅读(1823) 评论(2) 推荐(0) 编辑
摘要:1 没有安装ntp同步服务 所有机器统一时区,确认所有机器配置一致 vim /etc/sysconfig/clock ntp服务器配置 另外机器配置,设置成自己的ntp服务器ip 阅读全文
posted @ 2019-02-25 23:27 Questions张 阅读(2270) 评论(0) 推荐(0) 编辑
摘要:1 安装检查报错 2 原因是因为自己的文件没有全部同步过去 hadoop003文件下面缺少了cm文件夹的内容 3 cp过去 scp -r cm root@hadoop003:/var/www/html 还有mysql的驱动也同步cp过去 4 重新run 结果还是不行 5 最后发现日志文件 ls 找到 阅读全文
posted @ 2019-02-25 22:24 Questions张 阅读(1205) 评论(0) 推荐(0) 编辑
摘要:1 报错信息如下 + +| Error: JAVA_HOME is not set and Java could not be found |+ +| Please download the latest Oracle JDK from the Oracle Java web site || > h 阅读全文
posted @ 2019-02-25 21:42 Questions张 阅读(2006) 评论(0) 推荐(0) 编辑
摘要:1 购买3台阿里云服务 2 配置好ssh连接客户端 根据自己情况连接 3 安装好MySQL5.7 跳过,见之前博客 安装在hadoop001上 4 设置好Hosts文件 3台机器同时操作 5 关闭防火墙 3台机器同时操作 6 安装jdk1.8 3台同时操作 cd /mnt/software tar 阅读全文
posted @ 2019-02-25 17:03 Questions张 阅读(473) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2019-01-28 14:28 Questions张 阅读(448) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2019-01-28 14:26 Questions张 阅读(764) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2019-01-28 14:22 Questions张 阅读(730) 评论(0) 推荐(0) 编辑
摘要:Hadoop YARN同时支持内存和CPU两种资源的调度,本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器,应该考虑到集群里面每一台机子的计算资源,然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位,具有一 阅读全文
posted @ 2019-01-07 16:41 Questions张 阅读(472) 评论(0) 推荐(0) 编辑
摘要:[root@hdp2 /root]#hadoop checknative -a 18/12/09 00:31:19 WARN bzip2.Bzip2Factory: Failed to load/initialize native-bzip2 library system-native, will 阅读全文
posted @ 2018-12-09 16:57 Questions张 阅读(1503) 评论(0) 推荐(0) 编辑
摘要:1 下载snappy包并编译 wget https://github.com/google/snappy/releases/download/1.1.3/snappy-1.1.3.tar.gz tar xvfz snappy-1.1.3.tar.gz cd snappy-1.1.3/ ./confi 阅读全文
posted @ 2018-12-07 16:30 Questions张 阅读(541) 评论(0) 推荐(0) 编辑
摘要:HDFS2.0概述 一背景,Hadoop1.0中HDFS和MapReduce在高可用,扩展性等方面存在问题 HDFS存在问题,1,NameNode单点故障,难以应用于在线场景。2,NameNode压力过大,且内存受限,影响系统扩展。 MapReduce存在的问题,1,JobTracker访问压力大, 阅读全文
posted @ 2018-11-27 16:34 Questions张 阅读(1203) 评论(0) 推荐(0) 编辑
摘要:1 Mac电脑配置 阿里云配置机器 选择配置 按量付费 选择三台机器 2核8G 镜像选择CentOS7.4 网络设置 默认 系统配置 勾选好 添加有序后缀 设置好释放时间 最后再次确认信息 第二部 使用Zoc7 建立连接 并保持到zoc7软件 菜单栏 第三部 filezilla上传软件 jdk zo 阅读全文
posted @ 2018-11-27 16:07 Questions张 阅读(312) 评论(0) 推荐(0) 编辑
摘要:1 查询阿里云局网ip 注意:需要配置同一地区同一可用区的机器 才是一个局网 2 配置好hosts文件 3 hostname确认也是正确的 4 生成公钥私钥 三台机器同样操作 ssh-keygen -t rsa 然后一路回车 5 远程拷贝公钥 每台机器都敲 ssh-copy-id root@hado 阅读全文
posted @ 2018-11-27 13:28 Questions张 阅读(567) 评论(0) 推荐(0) 编辑
摘要:HDFS概述 简介:根据Google的GFS的开源实现,Hadoop分布式文件系统,是一个分布式文件存储系统。 优点 1,高容错性:数据自动保存为多个副本,副本丢失后自动恢复,(block元数据信息+心跳),多副本,提供容错机制,副本丢失或宕机自动恢复,默认存3份。 2,适合批处理:移动数据而非移动 阅读全文
posted @ 2018-11-27 12:01 Questions张 阅读(319) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示