找到属于自己的天空

redis学习(二)

摘要：深入了解redis字符串,列表，散列和有序集合命令，了解发布，订阅命令和其他命令。一，字符串 1.字符串可以存储3种类型的值字符串，整数，浮点数 2.运算命令列表 incr : incr key-name 将键存储的值加上1 decr: decr key-name 将键存储的值减去1 incrb 阅读全文

posted @ 2018-07-19 17:12 找到属于自己的天空阅读(131) 评论(0) 推荐(0)

redis学习(一)

摘要： redis 是一个远程内存数据库，是一款具有复制，持久化，分片等特性，并提供5种数据结构，不要求用户来适应数据库，数据格式可以可以是任意，并支持集群模式，常见的主从，副本，是一款高性能，高并发场景的技术。一。redis与其他数据库的对比 1.使用内存存储in-memory的非关系数据库2.支持的数阅读全文

posted @ 2018-07-17 11:14 找到属于自己的天空阅读(145) 评论(0) 推荐(0)

kafka学习(八)

摘要：管理kafka 主题操作 1.在集群里创建一个主题需要用到3个参数。这些参数是必须提供的，尽管有些已经有broker级别的默认值。主题名字，想要创建的主题的名字，主题名字可以包含字母，数字，下划线以及英文状态下破折号和句号。复制系数，主题的副本数量分区，主题的分区数量指定主题配置可以在创建阅读全文

posted @ 2018-06-30 00:08 找到属于自己的天空阅读(209) 评论(0) 推荐(0)

kafka学习(七)

摘要：跨集群数据镜像跨集群镜像的使用场景 1.区域集群和中心集群 2.冗余，发生紧急情况下使用第二个集群，保存相同的数据。 3.云迁移多集群架构跨集群中心通信的一些现实情况 1.高延迟 2.有限的宽带 3.高成本 hub和spoke架构这种架构适用于一个中心kafka集群对应多个本地kafka集群阅读全文

posted @ 2018-06-28 22:59 找到属于自己的天空阅读(279) 评论(0) 推荐(0)

kafka学习(六)

摘要：用kafka构建数据管道把kafka看着是一个数据的端点，怎么把kafka数据移到mysql,elasticSearchs 这里面介绍kafka connect API怎么样帮忙我们把数据移到我们想要的位置。构建数据管道时需要考虑的问题 1.及时性，kafka作为一个基于流的数据平台，提供了可靠阅读全文

posted @ 2018-06-28 22:57 找到属于自己的天空阅读(252) 评论(0) 推荐(0)

kafka学习(五)

摘要： kafka可靠的数据传递 kafka可靠性保证 ACID 是关系型数据库保证数据的规范，指的是原子性，一致性，隔离性和持久性，这是数据库给出的可靠性保证。 kafka给出的保证是什么？ 1.kafka可以保证分区消息的顺序。 2.只有当消息被写入分区的所有同步副本时，它才认为是已提交的。 3.只要一阅读全文

posted @ 2018-06-28 22:55 找到属于自己的天空阅读(160) 评论(0) 推荐(0)

kafka学习(四)

摘要：集群成员关系 kafka使用Zookeeper 来维护集群成员的信息。每个broker都有一个唯一标识符，这个标识符可以在配置里指定，也可以自动生成。在broker启动的时候，它通过创建临时节点把自己的ID注册到Zookeeper。kafka组件订阅Zookeeper的/brokers/ids路径，阅读全文

posted @ 2018-06-27 23:42 找到属于自己的天空阅读(161) 评论(0) 推荐(0)

kafka学习(三)

摘要： kafka 消费者-从kafka读取数据消费者和消费者群里 kafka消费者从属于消费者群组。一个群组里的消费者订阅的是同一主题，每个消费者接受主题一部分分区的消息。如果我们往群组里添加更多的消费者，超过主题的分区数量，那么有一部分消费者就会被闲置，不会接受到任何消息。往群组里增加消费者是横向伸缩阅读全文

posted @ 2018-06-27 01:34 找到属于自己的天空阅读(263) 评论(0) 推荐(0)

kafka学习(二)

摘要：创建kafka生产者要往kafka写入消息，首先要创建一个生产者对象，并设置一些熟悉。kafka生产者有3个必选的属性。 1.bootstrap.servers 该属性指定broker的地址清单，地址的格式为host:port 一般建议至少要提供两个broker的信息，一旦其中一个宏机，生产者仍然阅读全文

posted @ 2018-06-26 18:12 找到属于自己的天空阅读(198) 评论(0) 推荐(0)

kafak学习(一)

摘要：发布与订阅消息系统。数据(消息)的发送者不会直接把消息发送给接受者，这是发布与订阅消息系统的一个特点。发布者以某种方式对消息进行分类，接受者订阅他们，以便接受特定类型的消息。发布与订阅系统一般会有一个broker，也就是发布消息的中心点。传统的交互方式：用户>应用服务器>db 缺点：高并发服务阅读全文

posted @ 2018-06-26 00:38 找到属于自己的天空阅读(328) 评论(0) 推荐(0)