2019年3月21日
HIVE环境搭建
摘要： 1）Hive下载：http://archive.cloudera.com/cdh5/cdh/5/ wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz 2）解压 tar -zxvf hive-1.1.0-cdh5 阅读全文
posted @ 2019-03-21 00:11 Arthur-Lance 阅读(187) 评论(0) 推荐(0) 编辑
YARN环境搭建
摘要： mapred-site.xml yarn-site.xml 启动yarn：sbin/start-yarn.sh 验证是否启动成功 jps ResourceManager NodeManager web: http://hadoop001:8088 停止yarn： sbin/stop-yarn.sh 阅读全文
posted @ 2019-03-21 00:10 Arthur-Lance 阅读(453) 评论(0) 推荐(0) 编辑
HADOOP环境搭建
摘要： 1) 下载Hadoop http://archive.cloudera.com/cdh5/cdh/5/ 2.6.0-cdh5.7.0 wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz 2）安装jdk 下载 阅读全文
posted @ 2019-03-21 00:09 Arthur-Lance 阅读(155) 评论(0) 推荐(0) 编辑
HDFS架构概述
摘要： 1 Master(NameNode/NN) 带 N个Slaves(DataNode/DN) HDFS/YARN/HBase 1个文件会被拆分成多个Blockblocksize：128M130M ==> 2个Block： 128M 和 2M NN：1）负责客户端请求的响应2）负责元数据（文件的名称、副 阅读全文
posted @ 2019-03-21 00:08 Arthur-Lance 阅读(212) 评论(0) 推荐(0) 编辑