大数据常用启动命令

一、大数据集群：

1、zookeeper集群操作：

启动：bin/zkServer.sh start 【依次在hadoop102、hadoop103、hadoop104节点上启动zookeeper】

关闭：bin/zkServer.sh stop

查看状态：bin/zkServer.sh status

服务端口号：2181

 

2、Kafka集群操作（需先启动zookeeper）：

启动：bin/kafka-server-start.sh -daemon config/server.properties 【依次在hadoop102、hadoop103、hadoop104节点上启动kafka】

关闭：bin/kafka-server-stop.sh

创建topic：bin/kafka-console-producer.sh --broker-list hadoop102:9092 --topic recommender

查看topic信息：bin/kafka-topics.sh --zookeeper localhost:2181 --list

服务端口号：9092

 

3、hadoop集群操作：

格式化namenode：hadoop namenode -format

hdfs启动：sbin/start-dfs.sh 【在hadoop102节点启动】

yarn启动：sbin/start-yarn.sh【在hadoop103节点启动】

hdfs访问地址：http://hadoop102:50070/explorer.html#/

yarn访问地址：http://hadoop103:8088/cluster

 

4、Hbase集群操作【前提zookeeper、hadoop正常部署】

集群时间同步：ntpdate 0.cn.pool.ntp.org

启动：bin/start-hbase.sh

停止：bin/stop-hbase.sh

查看Hbase页面：http://hadoop102:16010

 Hbase常用命令：

进入HBase客户端: bin/hbase shell
查看当前数据库中有哪些表: list
创建表：create 'student','info'
插入数据到表：put 'student','1001','info:sex','male'
查看表数据：scan 'student'
指定行”或“指定列族: get 'student','1001','info:name'
查看表结构: describe 'student',
删除某rowkey的某一列数据： delete 'student','1002','info:sex'
删除表:先 disable 'student', 再drop 'student'
变更表信息（将info列族中的数据存放3个版本：）：alter 'student',{NAME=>'info',VERSIONS=>3}

5、spark集群操作：

启动：sbin/start-all.sh【在hadoop102节点启动】

查看spark页面：http://hadoop102:8080/ 

 

5、hive常见操作（首先启动hadoop集群）：

创建数据库并指定在hdfs上存放的位置：create database db_hive2 location'/db_hive2.db';

若报错：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct MetaStore DB connections, we don't support retries at the client level.)

设置mysql数据集格式：mysql>  set global binlog_format='MIXED'; 

进入hive客户端：bin/hive
查看数据库：show databases;
打开数据库：use default;
查看数据库中的表：show tables;
创建表：create table student(id int, name string) ;
查看表结构：desc student;
插入数据: insert into student values(1000,"ss");
查询表中数据:select * from student;
退出：quit;

 二、数据操作

1、redis操作(设置了密码)：

redis默认安装位置：/usr/local/bin

redis.conf配置：

bind 192.168.1.102 #绑定主机IP

requirepass 123456 #密码

远程服务器执行命令：redis-cli –h IP地址 –p 端口 –a 密码

启动：redis-server /myredis/redis.conf

连接：redis-cli -p 6379 -a 123456

关闭：redis-cli -p 6379 -a 123456 shutdown

 

redis命令：

lpush userId:4867 231449:3.0

lrange userId:4867 0 -1

 

2、mongodb操作：

启动：mongod -config /opt/module/mongodb-3.4.3/data/mongodb.conf

关闭：mongod -shutdown -config /opt/module/mongodb-3.4.3/data/mongodb.conf

访问：mongo

查看mongodb是否启动：

netstat -nltp | grep 27017

ps -ef|grep mongodb

查看表信息：db.table.find().pretty()

根据表字段查询：db.table.find({userId:4867})

 

3、sqoop操作

测试Sqoop是否能够成功连接数据库：bin/sqoop list-databases --connect jdbc:mysql://hadoop102:3306/ --username root --password 123456

 

4、flume日志收集操作

开启收集命令：bin/flume-ng agent -c conf -f conf/collect_click.conf -Dflume.root.logger=INFO,console -name a1

 

三、网络通信工具netcat：

安装：sudo yum install -y nc

服务端：nc -lk 44444

客户端： nc hadoop102 44444