摘要: # 分页查询/* 应用场景:要显示的数据,一页显示不全,需要分页提交sql请求 语法: select 查询列表 from 表 【join type】表2 on 连接条件 where 筛选条件 group by 分组字段 having 分组后筛选 order by 排序的字段】 limit 【offs 阅读全文
posted @ 2017-12-05 01:58 shayzhang 阅读(238) 评论(0) 推荐(0) 编辑
摘要: 实践一:replicating selector 1、目标场景 selector将event复制,分发给所有下游节点 2、Flume Agent配置 Agent配置 Collector1配置 Collector2配置 3、验证Replicating selector Agent端通过curl -X 阅读全文
posted @ 2017-12-03 18:37 shayzhang 阅读(1866) 评论(0) 推荐(0) 编辑
摘要: 实践一:regex filter interceptor 1、目标场景 regex filter interceptor的作用: 1)将event body的内容和配置中指定的正则表达式进行匹配2)如果内容匹配,则将该event丢弃3)如果内容不匹配,则将该event放行 2、Flume Agent 阅读全文
posted @ 2017-12-03 16:50 shayzhang 阅读(1768) 评论(0) 推荐(0) 编辑
摘要: 1、目标场景 2、flume agent配置文件 3、验证timestamp+host interceptor 验证思路: 1)先将interceptor作用后的event,通过logger sink打印到console,验证header是否正常添加2)修改sink为hdfs, 观察目录和文件的名称 阅读全文
posted @ 2017-12-03 12:37 shayzhang 阅读(1235) 评论(0) 推荐(0) 编辑
摘要: 1、目标场景 2、Flume Agent配置 3、curl命令,模拟发送HTTP请求(POST方法) # curl -X POST -d '[{"headers":{}, "body":"timestamp teset 001"}]' http://master:6666 说明: -X POST 表 阅读全文
posted @ 2017-12-03 03:32 shayzhang 阅读(1342) 评论(0) 推荐(0) 编辑
摘要: 1、负载均衡场景 1)初始:上游Agent通过round_robin selector, 将event轮流发送给下游Collecotor1, Collector2 2)故障: 关闭Collector1进程来模拟故障,Agent1由于配置了backoff, 会将Collecotor1暂时从发送列表中移 阅读全文
posted @ 2017-12-02 18:03 shayzhang 阅读(1234) 评论(0) 推荐(0) 编辑
摘要: 1、实践场景 模拟上游Flume Agent在发送event时的故障切换 (failover) 1)初始:上游Agent向active的下游节点Collector1传递event 2)Collector1故障: kill该进程的方式来模拟, event此时发送给Collector2,完成故障切换 3 阅读全文
posted @ 2017-12-02 01:48 shayzhang 阅读(812) 评论(0) 推荐(0) 编辑
摘要: Flume1.6.0的安装1、上传Flume-1.6.0-tar.gz到待部署的所有机器 以我的为例: /usr/local/src/ 2、解压得到flume文件夹 # tar -xzvf flume-1.6.0-tar.gz 3、修改文件夹名称,属主,及权限 # mv flume-1.6.0 fl 阅读全文
posted @ 2017-12-01 02:10 shayzhang 阅读(791) 评论(0) 推荐(0) 编辑
摘要: Flume消息收集系统,在整个系统架构中的位置 Flume概况1) Apache软件基金会的顶级项目2)存在两个大的版本:Flume 0.9.x(Flume-OG,original generation), Flume 1.x(Flume-NG,next generation)3) 信息采集系统(分 阅读全文
posted @ 2017-11-30 02:28 shayzhang 阅读(1644) 评论(0) 推荐(0) 编辑
摘要: #子查询/* 含义:出现在其他语句中的select语句,称为子查询(内查询) 内部嵌套其他select语句的查询,称为主查询(外查询) 特点: 1、子查询都会放在小括号内 2、单行操作符:>, <, = 3、多行操作符: in, any/some, all 分类: 按子查询出现的位置: select 阅读全文
posted @ 2017-11-29 01:53 shayzhang 阅读(365) 评论(0) 推荐(0) 编辑