hadoop hive hbase flume sqoop基本操作
top
里的id为cpu空闲度
如果wa为99.8就是负担太重。得停掉一些任务
cat /proc/cpuinfo
查看cpu信息
cat /proc/meminfo
查看内存信息
hadoop基础操作
start-all.sh
切换到hadoop用户启动hadoop
三个节点启动zkserver
cd /usr/local/src/hadoop
zkServer.sh start
(master jps)
8534 SecondaryNameNode
9659 Jps
8334 NameNode
8703 ResourceManager
8975 QuorumPeerMain
查看从属节点
bin/hdfs dfsadmin -report
查看hdfs空间使用情况
hdfs dfs -df /
HBase
进入目录查看版本
cd /usr/local/src/hbase/
hbase version
启动hbase
start-hbase.sh
进入hbase shell 界面
hbase shell
hadoop
需要离开安全模式
hdfs dfsadmin -safemode leave
查看版本以及状态
hbase(main):001:0> version
1.2.1, r8d8a7107dc4ccbf36a92f64675dc60392f85c015, Wed Mar 30 11:19:21 CDT 2016
hbase(main):002:0> state
NameError: undefined local variable or method `state' for #<Object:0x78d71df1>
简单查询HBase状态
status 'simple'
查询更多关于 HBase 状态，执行命令
help 'status'
停止hbase
stop-hbase.sh
进入目录执行hive
cd /usr/local/src/hive
hive
hive
查看数据库
show databases;
查看库里的所有表
use default
show tables;
创建表
create table stu(id int,name string);
信息插入表
insert into stu values (1001,'zhangsan');
显示表
show tables;
查看表结构
desc stu;
查看表信息
hive> select * from stu;
OK
1001 zhangsan
查看本地文件系统
hive> !ls /usr/local/src;
file:
flume
fox.java
hadoop
hbase
hive
jdk
sqoop
student.java
zookeeper
查看hdfs内容
hive> dfs -ls /;
Found 6 items
drwxr-xr-x - hadoop supergroup 0 2022-05-20 16:12 /hbase
drwxr-xr-x - hadoop supergroup 0 2022-04-25 19:20 /input
drwxr-xr-x - hadoop supergroup 0 2022-04-25 19:20 /output
drwxr-xr-x - hadoop supergroup 0 2022-04-25 19:26 /outputp
drwxrwxrwx - hadoop supergroup 0 2022-05-06 15:14 /tmp
drwxr-xr-x - hadoop supergroup 0 2022-04-29 17:05 /user
hive>
查看历史命令
cd /home/hadoop/
cat .hivehistory
监控大数据平台状态
查看zookeeper状态
[hadoop@master ~]$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/src/zookeeper/bin/../conf/zoo.cfg
Mode: follower
[hadoop@master ~]$
查看运行进程
jps
输入命令zkCli.sh 连接到zookeeper服务
zkCli.sh
开启监控
get /hbase 1
[zk: localhost:2181(CONNECTED) 3] set /hbase value-update
cZxid = 0x700000002
ctime = Tue Apr 26 20:11:10 CST 2022
mZxid = 0xb0000005b
mtime = Fri May 20 16:46:52 CST 2022
pZxid = 0xb00000053
cversion = 22
dataVersion = 3
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 12
numChildren = 14
[zk: localhost:2181(CONNECTED) 4]
数据版本变更 /hbase处于监控中
查看sqoop版本
cd /usr/local/src/sqoop
./bin/sqoop-version
Warning: /usr/local/src/sqoop/../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Warning: /usr/local/src/sqoop/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
22/05/20 16:48:44 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
Sqoop 1.4.7
git commit id 2328971411f57f0cb683dfb79d19d4d19d185dd8
Compiled by maugli on Thu Dec 21 15:59:58 STD 2017
[hadoop@master sqoop]$
检查sqoop是否能够连接数据库
bin/sqoop list-databases --connect jdbc:mysql://master:3306/ --username root --password Huawei123$
查看帮助
sqoop help
查看flume版本
cd /usr/local/src/flume
flume-ng version
编写配置文件
vim /usr/local/src/flume/example.conf
[hadoop@master flume]$ vim /usr/local/src/flume/example.conf
# 在文件中写入以下内容
# a1 是 agent 名，r1,k1,c1 是 a1 的三个组件
a1.sources=r1
a1.sinks=k1
a1.channels=c1
# 设置 r1 源文件的类型、路径和文件头属性
a1.sources.r1.type=spooldir
a1.sources.r1.spoolDir=/usr/local/src/flume/
a1.sources.r1.fileHeader=true
# 设置 k1 目标存储器属性
a1.sinks.k1.type=hdfs # 目标存储器类型 hdfs
a1.sinks.k1.hdfs.path=hdfs://master:9000/flume # 目标存储位置
a1.sinks.k1.hdfs.rollsize=1048760 #临时文件达 1048760 bytes 时，滚动形
成目标文件
a1.sinks.k1.hdfs.rollCount=0 #0 表示不根据 events 数量来滚动形成目标文件
a1.sinks.k1.hdfs.rollInterval=900 # 间隔 900 秒将临时文件滚动形成目标文
件
a1.sinks.k1.hdfs.useLocalTimeStamp=true # 使用本地时间戳
# 设置 c1 暂存容器属性
a1.channels.c1.type=file # 使用文件作为暂存容器
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100
# 使用 c1 作为源和目标数据的传输通道
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
连接flume
/usr/local/src/flume/bin/flume-ng agent --
conf ./conf --conf-file ./example.conf --name a1 -
Dflume.root.logger=INFO,console
查看是否成功
hdfs dfs -lsr /flume
