hadoop 查看日志
告警和日志信息监控
hadoop集群启动
su - hadoop #切换到hadoop用户
[hadoop@master ~]$ start-all.sh #启动
zookeeper集群启动
zkServer.sh start #三个节点都要做
zkServer.sh status #查看集群状态
Hbase启动
[hadoop@master ~]$ start-hbase.sh
1.查看大数据平台主机日志
[hadoop@master ~]$ cd /var/log
[hadoop@master log]$ ll
2.查看内核及公共消息日志（/var/log/messages）。
内核及公共信息日志是许多进程日志文件的汇总，可以切换到 root 用户，采用 cat 或
tail 命令查看该文件。
[hadoop@master log]$ su root
password：
[root@master log]# tail messages
3.查看计划任务日志/var/log/cron。
[root@master log]# cat cron
4.查看系统引导日志/var/log/dmesg
[root@master log]# dmesg
5.查看邮件系统日志:/var/log/maillog
tail -f /var/log/maillog
6.查看用户登录日志
lastlog
这种日志数据用于记录 Linux 操作系统用户登录及退出系统的相关信息，包括用户名、
登录的终端、登录时间、来源主机、正在使用的进程操作等。
以下文件保存了用户登录、退出系统等相关信息
1）/var/log/lastlog ：最近的用户登录事件
2）/var/log/wtmp ：用户登录注销及系统开、关机事件
3）/var/run/utmp ：当前登录的每个用户的详细信息
4）/var/log/secure ：与用户验证相关的安全性事件
lastlog 引用的是/var/log/lastlog 文件中的信息，包括登录名、端口、最后登录时
间等。
[hadoop@master log]$ lastlog
Username Port From Latest
root pts/0 192.168.3.1 Fri May 27 15:06:44 +0800 2022
bin **Never logged in**
daemon **Never logged in**
adm **Never logged in**
lp **Never logged in**
sync **Never logged in**
tty为控制台
pts为终端
last
last 列出当前和曾经登入系统的用户信息
它默认读取的是/var/log/wtmp 文件的信息。输出的内容包括：用户名、终端位置、登
录源信息、开始时间、结束时间、持续时间。注意最后一行输出的是 wtmp 文件起始记录的
时间。当然也可以通过 last -f 参数指定读取文件，可以是/var/log/btmp、/var/run/utmp
文件
[hadoop@master log]$ last
root pts/0 192.168.3.1 Fri May 27 15:06 still logged in
root tty1 Fri May 27 14:57 still logged in
reboot system boot 3.10.0-957.el7.x Fri May 27 14:56 - 16:13 (01:16)
root pts/0 192.168.3.1 Fri May 20 14:55 - crash (7+00:01)
root tty1 Fri May 20 14:54 - crash (7+00:02)
reboot system boot 3.10.0-957.el7.x Fri May 20 14:53 - 16:13 (7+01:20)
root pts/1 192.168.3.1 Fri May 6 17:12 - crash (13+21:41)
root pts/0 192.168.3.1 Fri May 6 16:47 - crash (13+22:05)
reboot system boot 3.10.0-957.el7.x Fri May 6 16:47 - 16:13 (20+23:26)
7.切换到 root 用户，使用命令 last -f /var/run/utmp，查看 utmp 文件
last -f /var/run/utmp
8.lastb 列出失败尝试的登录信息
[root@master ~]# lastb
root ssh:notty master Fri May 27 15:46 - 15:46 (00:00)
hadoop pts/0 Fri May 20 15:16 - 15:16 (00:00)
btmp begins Fri May 20 15:16:55 2022
9.切换为 root 用户，执行 cat /var/log/secure 命令查看服务器登陆行为
[root@master ~]# cat /var/log/secure
May 27 15:46:16 master sshd[6899]: Failed password for root from 192.168.3.138 port 37584 ssh2
May 27 15:46:16 master sshd[6899]: Failed password for root from 192.168.3.138 port 37584 ssh2
May 27 15:46:16 master sshd[6899]: Connection closed by 192.168.3.138 port 37584 [preauth]
10.在 Hadoop MapReduce Jobs 中查看日志信息
[hadoop@master ~]$ cd /usr/local/src/hadoop/sbin
[hadoop@master sbin]$ ./mr-jobhistory-daemon.sh start historyserver
19888 看任务历史
8088看任务运行情况
[hadoop@master hadoop]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input/data.txt /output
查看word count 运行状态
cd /usr/local/src/hadoop/etc/hadoop
启动日志聚合
[hadoop@master ~]$ cd /usr/local/src/hadoop/etc/hadoop
[hadoop@master hadoop]$ vi yarn-site.xml
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
11.通过命令查看 Hadoop 日志
[hadoop@master ~]$cd /usr/local/src/hadoop/logs
[hadoop@master logs]$ ll
12.查看hbase
13.查看hive
cat /tmp/hadoophive.log
14.查看大数据平台主机告警信息
su - root
journalctl -p err..alert
15.查询ResourceManager 日记最新 1000 行且包含“info”关键字的告警信息
su - root
tail -1000f yarn-hadoop-resourcemanager-master.log |
grep info
16.查看 HBase 告警信息
执行命令
cd /usr/local/src/hbase/logs
tail -100f hbase-hadoop-master-master.log |grep INFO
17.查看 Hive 告警信息
cd /tmp/hadoop
tail -1000f hive.log |grep INFO
