每周总结
本周完成了对Linux系统的学习,安装了vm虚拟机,配置了3个centos虚拟机,完成了虚拟机之间的免密登录等一系列的操作,虚拟机配置了java环境,hadoop环境,部署了HDFS集群。了解了大数据的软件生态、Hadoop是什么以及为什么需要分布式存储。
启动Hadoop时需要进行的操作
首先切换到hadoop用户
su - hadoop |
启动hdfs集群
start-dfs.sh |
启动yarn集群
start-yarn.sh |
启动hive
首先切换到hive文件夹
cd /export/server/hive |
然后再运行下述命令
#先启动metastore服务 然后启动hiveserver2服务 | |
nohup bin/hive --service metastore >> logs/metastore.log 2>&1 & | |
nohup bin/hive --service hiveserver2 >> logs/hiveserver2.log 2>&1 & |
启动Spark
切换到spark目录下
cd /export/server/spark |
运行下列命令
sbin/start-all.sh |
启动完成后输入jps命令检验一下是否启动成功
Zookeeper启动
在node1、node2、node3上分别执行,启动Zookeeper
/export/server/zookeeper/bin/zkServer.sh start |