摘要：
安装mysql；1. 检查当前环境是否安装mysql服务(命令:rpm -qa | grep -i mysql)2. 卸载自带的mysql3. 卸载软件：rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_644. 安装mysql客户端与服务器.4.1下载依赖su 阅读全文
摘要：
步骤一；干净的集群，全新的hdfs在第一台主机上配置配置文件core-site.xml:<configuration><property> <name>fs.defaultFS</name> <value>hdfs://bcqm1711</value></property><property> <n 阅读全文
摘要：
-s file 文件大小非0时为真[ -f "somefile" ] ：判断是否是一个文件[ -x "/bin/ls" ] ：判断/bin/ls是否存在并有可执行权限[ -n "$var" ] ：判断$var变量是否有值[ "$a" = "$b" ] ：判断$a和$b是否相等-r file 用户可读 阅读全文
摘要：
需求：判断hadoop用户是否存在**************************************************#!/bin/bashresult=`awk -F ":" '{if($1=="hadoop") print $1}' /etc/passwd`if [ -n res 阅读全文
摘要：
#!/bin/bashHADOOP=$(which hadoop)$HADOOP fs -test -e $1if [ $? -eq 1 ] then $HADOOP fs -put $1 / if [ $? -eq 0 ] then echo "the file $1 put successful 阅读全文
摘要：
模拟(删除/远程拷贝)当前一周的日志文件vi rmlog.sh#!/bin/bashcd $1#获取七天前时间time7daysago=`date -d"7 days ago" +%s`for log in `ls ./`do filetime=`basename $log .log` echo " 阅读全文
摘要：
先在hdfs系统创建文件夹logshadoop fs -mkdir /logs 编辑shell脚本 filemv.sh #!/bin/bashPATH=/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/hadoop/ 阅读全文
摘要：
1.使用定时器：在logs目录，每两分钟产生一个文件(文件格式为:201711151323.log、201711151323.log、2017111513xx.log ...思路：定时器定时调用shell脚本，脚本根据时间创建文件,并且将文件beicai.log内容追加到log文件内。 #vi fi 阅读全文
摘要：
五个节点：配置文件解析：hadoop01 NameNode 、DataNode、NodeManagerhadoop02 ResourceManager hadoop03 DataNode NodeManager、SecondaryNameNodehadoop04 DataNode NodeManag 阅读全文
摘要：
以三个节点的集群为例： 总括： nodemanager ,datanode --> slavesresourcemanager > yarn namenode > core-site 详细解析： 主机名称 备注 IP地址 功能hadoop01 Master 192.168.211.134 NameN 阅读全文