09 2017 档案

kafka保证数据不丢失机制
摘要：kafka如何保证数据的不丢失 1、生产者如何保证数据的不丢失：消息的确认机制，使用ack机制我们可以配置我们的消息不丢失机制为 1，保证我们的partition的leader与follower都保存好了数据 2、消费者如何保证不重复消费数据：offset偏移量，记录了我们的消息消费的偏移量，新版本 阅读全文
posted @ 2017-09-28 00:32 zhangqi0828 阅读(721) 评论(0) 推荐(0) 编辑
kafka和flume进行整合的日志采集的confi文件编写
摘要：配置flume.conf 为我们的source channel sink起名 a1.sources = r1 a1.channels = c1 a1.sinks = k1 指定我们的source收集到的数据发送到哪个管道 a1.sources.r1.channels = c1 指定我们的source 阅读全文
posted @ 2017-09-28 00:22 zhangqi0828 阅读(219) 评论(0) 推荐(0) 编辑
kafka-manager监控工具的安装和使用
摘要：kafka manager监控工具的使用 第一步：对kafkamanager进行下载并编译 此步骤略：可参照成功与否不详，https://www.jianshu.com/p/174b6eb10d9d 第二步：上传编译好的压缩包并解压 将我们编译好的kafkamanager的压缩包上传到服务器并解压 阅读全文
posted @ 2017-09-21 01:08 zhangqi0828 阅读(167) 评论(0) 推荐(0) 编辑
C语言学习和回顾
摘要：http://www.runoob.com/cprogramming/c-tutorial.html 阅读全文
posted @ 2017-09-17 10:44 zhangqi0828 阅读(99) 评论(0) 推荐(0) 编辑
hive的数据压缩
摘要：hive的数据压缩 在实际工作当中，hive当中处理的数据，一般都需要经过压缩，前期我们在学习hadoop的时候，已经配置过hadoop的压缩，我们这里的hive也是一样的可以使用压缩来节省我们的MR处理的网络带宽 1、MR支持的压缩编码 压缩格式 工具 算法 文件扩展名 是否可切分 DEFAULT 阅读全文
posted @ 2017-09-11 15:34 zhangqi0828 阅读(411) 评论(0) 推荐(0) 编辑
进程线程那些事儿
摘要：https://www.cnblogs.com/zhang-can/p/7215506.html 阅读全文
posted @ 2017-09-04 20:03 zhangqi0828 阅读(90) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示