lilixia

2019年5月15日

摘要： [root@linux05 conf]# vim replicate.conf //将下面数据放入 a1.sources = r1a1.channels = c1 c2a1.sinks = k1 k2 # Describe/configure the sourcea1.sources.r1.type 阅读全文

posted @ 2019-05-15 11:10 lilixia 阅读(422) 评论(0) 推荐(0) 编辑

flume 文档简介

摘要： 1. Flume介绍 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 1.2.1 日志收集 Flume最早是阅读全文

posted @ 2019-05-15 07:48 lilixia 阅读(482) 评论(0) 推荐(0) 编辑

flume---2中channel file和memory

摘要： //之前一直用的是memory缓存 channels通道类型为文件形式 [root@linux05 conf]# vim filechannel.conf [root@linux05 conf]# flume-ng agent -c . -f filechannel.conf -n a1 -Dflu 阅读全文

posted @ 2019-05-15 07:47 lilixia 阅读(685) 评论(0) 推荐(0) 编辑

flume-----发送 sink 2种本地和hdfs

摘要： [root@linux05 conf]# vim hdfssink.conf //从缓存拿出来直接到hdfs 中 ****************************************** a1.sources=r1a1.channels=c1a1.sinks=k1 a1.sources 阅读全文

posted @ 2019-05-15 07:47 lilixia 阅读(880) 评论(0) 推荐(0) 编辑

2019年5月14日

flume--安装及5种采集 sources

摘要： flume常用命令 //复制文件 cp exec.conf tcp.conf flume-ng agent -c . -f avro.conf -n a1 -Dflume.root.logger=info,console flume-ng avro-client -c . -H linux05 - 阅读全文

posted @ 2019-05-14 21:43 lilixia 阅读(656) 评论(0) 推荐(0) 编辑

自定义函数

摘要： add jar /root/Downloads/apache-hive-1.2.0-bin/lib/udf.jar; 1.引jar 写自己想用的方法 2.将jar 放入hive中的lib下 3.创建一个临时的方法 create temporary function allsal as "com.bw 阅读全文

posted @ 2019-05-14 16:24 lilixia 阅读(168) 评论(0) 推荐(0) 编辑

内置函数

摘要： hive> select pmod(sal,2) from emp; //创建表人名分数 hive> create table sc(name string,scores Array<int>) row format delimited fields terminated by " " coll 阅读全文

posted @ 2019-05-14 15:36 lilixia 阅读(157) 评论(0) 推荐(0) 编辑

炸裂函数explode

摘要： lateral viem 表的关联只能和explode使用 hive> select explode(info) from t_map where id=1; 1 CN_lldd2 CN_sjd3 CN_jp4 CN_rpt5 USA_yns6 USA_sd7 USA_ydfdf8 USA_gdff 阅读全文

posted @ 2019-05-14 14:27 lilixia 阅读(2492) 评论(0) 推荐(0) 编辑

-bash:ls:command not found，执行命令总是报找不到

摘要：所有的命令都显示找不到了,原因是修改了/etc/profile造成的解决方法执行： export PATH=/bin:/usr/bin:$PATH 阅读全文

posted @ 2019-05-14 13:57 lilixia 阅读(1058) 评论(0) 推荐(0) 编辑

2019年5月13日

函数

摘要： 1 zhangsan 1999-08-03 3000 2 zhangsan 2008-08-08 5000 3 lisi 2000-08-08 5000 4 zhangsan 2018-08-09 15000 5 lisi 2010-09-06 8000 6 lisi 2016-10-10 15000 7 lisi 2019-05-10 28000 阅读全文

posted @ 2019-05-13 21:11 lilixia 阅读(102) 评论(0) 推荐(0) 编辑

公告