各模块启动
启动hdfs-2.7.3:
hdfs和yarn生产环境下是不启动在同一个节点的,hdfs启动在node1
1、启动hdfs
/home/orco/resources/hadoop-2.7.3/sbin/start-dfs.sh
2、访问
http://node1:50070
暂不知配在哪里,可能是hdfs-site.xml
3、其他
单独启动某个服务
hadoop-deamon.sh start namenode
启动一个 DN
hadoop-daemon.sh start datanode
hadoop-daemon.sh start nodemanager
启动yarn-2.7.3:
yarn启动在node2,这里记得把yarn-site.xml中的所有地址改成node2
1、启动yarn
/home/orco/resources/hadoop-2.7.3/sbin/start-yarn.sh
2、访问
http://node2:18088
启动MapReduce History Server
我启动在node2,配置地址在yarn-site.xml
1、启动
/home/orco/resources/hadoop-2.7.3/sbin/mr-jobhistory-daemon.sh start historyserver
启动后进程名为:JobHistoryServer
2、访问
http://node2:18088
启动hive-2.1.1:
1、运行mysql
sudo service mysqld start
2、运行hdfs
/home/orco/resources/hadoop-2.7.3/sbin/start-dfs.sh
3、运行yarn
/home/orco/resources/hadoop-2.7.3/sbin/start-yarn.sh
4、运行metastore
nohup hive --service metastore >> /home/orco/resources/apache-hive-2.1.1-bin/metastore.log 2>&1 &
5、运行hive server
nohup hive --service hiveserver2 >> /home/orco/resources/apache-hive-2.1.1-bin/hiveserver.log 2>&1 &
6、启动hive命令行
hive
启动Presto-0.166:
1、启动hdfs
/home/orco/resources/hadoop-2.7.3/sbin/start-dfs.sh
2、启动hive metastore
启动mysql:
sudo service mysqld start
nohup hive --service metastore >> /home/orco/resources/apache-hive-2.1.1-bin/metastore.log 2>&1 &
3、启动Presto
需要在每个节点上都启动
/home/orco/resources/presto-server-0.166/bin/launcher start
4、访问
http://node1:8081
5、启动Presto Client
presto --server node1:8081 --catalog hive --schema default
server:指的是Coordinator的地址,配置在config.properties 中
hive:用的是hive的connector
default:用的是hive的default数据库
启动zeppelin-0.7.1
启动zeppelin
/home/orco/software/zeppelin-0.7.1-bin-all/bin/zeppelin-daemon.sh start
可以创建conf/zeppelin-env.sh文件,添加如下内容
export ZEPPELIN_PORT=8090
访问
http://node1:8080
如果使用了上面那个配置文件,则 http://node1:8090
启动spark on yarn-2.1.0
spark on yarn只需要启动 Spark history server,我启动在node1
前提是yarn、hdfs、MapReduce History Server都启动了
1、启动Spark history server
/home/orco/resources/spark-2.1.0-bin-hadoop2.7/sbin/start-history-server.sh
启动后进程名为:HistoryServer
2、访问
http://node1:18080/
3、如果只是想简单的看个日志,不想启动history server,可以在命令行中输入
bin/yarn logs -applicationId xxxx
来查看,当然如果日志很多就不太方便了
启动zookeeper(已经用写好了脚本,用脚本启动)
在三台机器上同时启动
bin/zkServer.sh start conf/zoo.cfg
启动kafka
在三台机器上启动
/home/orco/resources/kafka_2.10-0.10.1.1/bin/kafka-server-start.sh -daemon /home/orco/resources/kafka_2.10-0.10.1.1/config/server.properties