摘要：
IntellijIDEA常用快捷键总结 https://blog.csdn.net/qq_17586821/article/details/52554731 阅读全文
摘要：
1.项目背景 从大量源数据中清洗出有效数据供后续程序使用。 源数据参照log.txt文件 2.项目源数据说明 9841EF7BDBDF0AC9AF42AEBB4E4F8D4F Id 12 状态1 22 状态2 33 状态3 2013/1/1 23:13:58 时间 您申请的验证码为541714，有效 阅读全文
摘要：
关键：查看kafka官网的userguide agent.sources = kafkaSourceagent.channels = memoryChannelagent.sinks = hdfsSink agent.sources.kafkaSource.type = org.apache.flu 阅读全文
摘要：
关键：查看kafka官网的userGuide 配置文件： agent.sources = r1agent.sinks = k1agent.channels = c1 ## sources configagent.sources.r1.type = org.apache.flume.source.ka 阅读全文
摘要：
配置文件： agent.sources = r1agent.sinks = k1agent.channels = c1 ## sources configagent.sources.r1.type = org.apache.flume.source.kafka.KafkaSourceagent.so 阅读全文
摘要：
Sqoop工具1、协助 RDBMS 与 Hadoop 之间进行高效的大数据交流。把关系型数据库的数据导入到 Hadoop 与其相关的系统 (如HBase和Hive)同时也可以把数据从 Hadoop 系统里抽取并导出到关系型数据库里。Sqoop中一大亮点就是可以通过hadoop的mapreduce把数 阅读全文
摘要：
Master: #MasterAgentMasterAgent.channels = c1MasterAgent.sources = s1MasterAgent.sinks = k1 #MasterAgent Avro SourceMasterAgent.sources.s1.type = avro 阅读全文
摘要：
flume采集过程： #说明：案例是flume监听目录/home/hadoop/flume_kafka采集到kafka； 启动集群 启动kafka， 启动agent，flume-ng agent -c . -f /home/hadoop/flume-1.7.0/conf/myconf/flume-k 阅读全文
摘要：
>先创建Hbase表和列族< 案例1：源数据一行对应Hbase的一列存储(hbase-1.12没有问题) #说明：案例是flume监听目录/home/hadoop/flume_hbase采集到hbase；必须先在Hbase中创建表和列族 数据目录：vi /home/hadoop/flume_hbas 阅读全文
摘要：
数据： 天通苑北一区 3室2厅 510万 1.01101E+11 天通苑北一区 3-2厅 143.09 平米 南北 简装 有电梯 35642 510旗胜家园 2室1厅 385万 1.01101E+11 旗胜家园 2-1厅 88.68 平米 南北 简装 有电梯 43415 385天秀花园澄秀园 3室1 阅读全文