05 2018 档案
摘要：关键：查看kafka官网的userguide agent.sources = kafkaSourceagent.channels = memoryChannelagent.sinks = hdfsSink agent.sources.kafkaSource.type = org.apache.flu
阅读全文
摘要：关键：查看kafka官网的userGuide 配置文件： agent.sources = r1agent.sinks = k1agent.channels = c1 ## sources configagent.sources.r1.type = org.apache.flume.source.ka
阅读全文
摘要：配置文件： agent.sources = r1agent.sinks = k1agent.channels = c1 ## sources configagent.sources.r1.type = org.apache.flume.source.kafka.KafkaSourceagent.so
阅读全文
摘要：Sqoop工具1、协助 RDBMS 与 Hadoop 之间进行高效的大数据交流。把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。Sqoop中一大亮点就是可以通过hadoop的mapreduce把数
阅读全文
摘要：Master: #MasterAgentMasterAgent.channels = c1MasterAgent.sources = s1MasterAgent.sinks = k1 #MasterAgent Avro SourceMasterAgent.sources.s1.type = avro
阅读全文
摘要：flume采集过程： #说明：案例是flume监听目录/home/hadoop/flume_kafka采集到kafka； 启动集群 启动kafka， 启动agent，flume-ng agent -c . -f /home/hadoop/flume-1.7.0/conf/myconf/flume-k
阅读全文
摘要：>先创建Hbase表和列族< 案例1：源数据一行对应Hbase的一列存储(hbase-1.12没有问题) #说明：案例是flume监听目录/home/hadoop/flume_hbase采集到hbase；必须先在Hbase中创建表和列族 数据目录：vi /home/hadoop/flume_hbas
阅读全文
摘要：数据： 天通苑北一区 3室2厅 510万 1.01101E+11 天通苑北一区 3-2厅 143.09 平米 南北 简装 有电梯 35642 510旗胜家园 2室1厅 385万 1.01101E+11 旗胜家园 2-1厅 88.68 平米 南北 简装 有电梯 43415 385天秀花园澄秀园 3室1
阅读全文
摘要：安装mysql；1. 检查当前环境是否安装mysql服务(命令:rpm -qa | grep -i mysql)2. 卸载自带的mysql3. 卸载软件：rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_644. 安装mysql客户端与服务器.4.1下载依赖su
阅读全文
摘要：步骤一；干净的集群，全新的hdfs在第一台主机上配置配置文件core-site.xml:<configuration><property> <name>fs.defaultFS</name> <value>hdfs://bcqm1711</value></property><property> <n
阅读全文
摘要：-s file 文件大小非0时为真[ -f "somefile" ] ：判断是否是一个文件[ -x "/bin/ls" ] ：判断/bin/ls是否存在并有可执行权限[ -n "$var" ] ：判断$var变量是否有值[ "$a" = "$b" ] ：判断$a和$b是否相等-r file 用户可读
阅读全文
摘要：需求：判断hadoop用户是否存在**************************************************#!/bin/bashresult=`awk -F ":" '{if($1=="hadoop") print $1}' /etc/passwd`if [ -n res
阅读全文
摘要：#!/bin/bashHADOOP=$(which hadoop)$HADOOP fs -test -e $1if [ $? -eq 1 ] then $HADOOP fs -put $1 / if [ $? -eq 0 ] then echo "the file $1 put successful
阅读全文
摘要：模拟(删除/远程拷贝)当前一周的日志文件vi rmlog.sh#!/bin/bashcd $1#获取七天前时间time7daysago=`date -d"7 days ago" +%s`for log in `ls ./`do filetime=`basename $log .log` echo "
阅读全文
摘要：先在hdfs系统创建文件夹logshadoop fs -mkdir /logs 编辑shell脚本 filemv.sh #!/bin/bashPATH=/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/hadoop/
阅读全文
摘要：1.使用定时器：在logs目录，每两分钟产生一个文件(文件格式为:201711151323.log、201711151323.log、2017111513xx.log ...思路：定时器定时调用shell脚本，脚本根据时间创建文件,并且将文件beicai.log内容追加到log文件内。 #vi fi
阅读全文
