03 2018 档案
摘要:简单介绍使用java控制hdfs文件系统 一、注意namenode端访问权限,修改hdfs-site.xml文件或修改文件目录权限 本次采用修改hdfs-site.xml用于测试,在configuration节点中添加如下内容 二、本次使用eclipse环境新建项目完成测试 使用手动添加jar包完成
阅读全文
摘要:Kafka特性 顺序读写(高吞吐) 吞吐率可以水平拓展 消息可以保存 发送消息可以指定key,producer根据key和patition机制来判断将消息发送到那个partition 一般partition的数量大于broker以便均匀分配到broker上 如何为kafka集群选择合适的topic数
阅读全文
摘要:config/server.properties 数据存储的最大时间超过这个时间会根据log.cleanup.policy设置的策略处理数据,也就是消费端能够多久去消费数据 log.retention.bytes和log.retention.minutes任意一个达到要求,都会执行删除,会被topi
阅读全文
摘要:kafka是一个分布式的、可分区的、可复制的消息系统。 几个消息系统术语
阅读全文
摘要:为什么要用消息队列? 解耦 冗余 拓展性 灵活性&峰值处理能力 可恢复性 送达保证 顺序保证 缓冲(发送数据不可能实时,进行缓冲。保证最快送达) 异步通信 常用消息队列 RabbitMQ:支持协议多,挒如AMQP、XMPP、SMTP、STOMP。对路由、负载均衡、数据持久化很好支持 Redis:轻量
阅读全文
摘要:引言 hadoop出来已经很久了,一直没有自己配置过、参考 http://blog.csdn.net/wangjia55/article/details/53160679 完成hadoop的配置, 再此记录。本次使用环境 ubuntu12.04 、 hadoop-2.7.5.tar.gz 简介 一、
阅读全文