随笔分类 -  大数据

消息队列kafka、rabbitmq、activemq、zookeeper、tair、hbase、文件存储系统
【总结】瞬时高并发（秒杀/活动）Redis方案
摘要：1，Redis 丰富的数据结构（Data Structures） 字符串（String） Redis字符串能包含任意类型的数据 一个字符串类型的值最多能存储512M字节的内容 利用INCR命令簇（INCR, DECR, INCRBY）来把字符串当作原子计数器使用 使用APPEND命令在字符串后添加内 阅读全文
posted @ 2017-08-27 22:05 PointNet 阅读(5059) 评论(0) 推荐(1) 编辑
基于Redis实现分布式锁
摘要：背景在很多互联网产品应用中，有些场景需要加锁处理，比如：秒杀，全局递增ID，楼层生成等等。大部分的解决方案是基于DB实现的，Redis为单进程单线程模式，采用队列模式将并发访问变成串行访问，且多客户端对redis的连接并不存在竞争关系。其次Redis提供一些命令SETNX，GETSET，可以方便实现 阅读全文
posted @ 2017-08-27 15:54 PointNet 阅读(422) 评论(0) 推荐(0) 编辑
Redis学习手册(Sorted-Sets数据类型)
摘要：一、概述： Sorted-Sets和Sets类型极为相似，它们都是字符串的集合，都不允许重复的成员出现在一个Set中。它们之间的主要差别是Sorted-Sets中的每一个成员都会有一个分数(score)与之关联，Redis正是通过分数来为集合中的成员进行从小到大的排序。然而需要额外指出的是，尽管So 阅读全文
posted @ 2017-08-25 21:28 PointNet 阅读(301) 评论(0) 推荐(0) 编辑
Redis - 事务
摘要：一、概述 和传统关系型数据库一样，Redis 同样是支持事务的。Redis 的事务可以通过 MULTI/EXEC/DISCARD/WATCH 等命令来实现。 二、事务的 ACID 特性 1). 原子性：事务中的命令要么全部执行，要么都不执行。 Redis 的事务和传统的关系型数据库事务最大的区别在于 阅读全文
posted @ 2017-08-23 20:32 PointNet 阅读(321) 评论(0) 推荐(0) 编辑
Memcached、Redis OR Tair
摘要：一、前言 非关系型数据库（NoSQL = Not Only SQL）的产品非常多，常见的有Memcached、Redis、MongoDB等优秀开源项目，相关概念和资料网上也非常丰富，不再重复描述，本文主要引入Memcached和Redis与淘宝开源Tair分布式存储进行对比测试，由于各自适用场景不同 阅读全文
posted @ 2017-03-12 10:22 PointNet 阅读(608) 评论(0) 推荐(0) 编辑
zookeeper leader选举机制
摘要：最近看了下zookeeper的源码，先整理下leader选举机制 先看几个关键数据结构和函数 服务可能处于的状态，从名字应该很好理解 选票参数，还有Notification，参数也都差不多 选票的比较逻辑也很简单，依次比较几个关键字段 选举流程 1. 发起投票： 首先投票给自己，然后给所有Accep 阅读全文
posted @ 2017-03-11 16:12 PointNet 阅读(2448) 评论(0) 推荐(0) 编辑
ZooKeeper开发手册中文翻译
摘要：本文假设你已经具有一定分布式计算的基础知识。你将在第一部分看到以下内容： ZooKeeper数据模型 ZooKeeper Sessions ZooKeeper Watches 一致性保证(Consistency Guarantees) ZooKeeper数据模型 ZooKeeper Sessions 阅读全文
posted @ 2017-03-11 10:51 PointNet 阅读(1296) 评论(0) 推荐(0) 编辑
初识zookeeper（1）之zookeeper的安装及配置
摘要：初识zookeeper（一）之zookeeper的安装及配置 1、简要介绍 zookeeper是一个分布式的应用程序协调服务，是Hadoop和Hbase的重要组件，是一个树型的目录服务，支持变更推送。除此还可以用作dubbo服务的注册中心。 2、安装 2.1 下载安装 2.2 配置 2.2.1 单点 阅读全文
posted @ 2017-03-10 22:45 PointNet 阅读(4004) 评论(0) 推荐(0) 编辑
kafka入门：简介、使用场景、设计原理、主要配置及集群搭建（转）
摘要：问题导读： 1.zookeeper在kafka的作用是什么？ 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？ 3.kafka集群consumer和producer状态信息是如何保存的？ 4.partitions设计的目的的根本原因是什么？ 一、入门 1、简介 Kafka is a d 阅读全文
posted @ 2017-03-10 11:26 PointNet 阅读(226) 评论(0) 推荐(0) 编辑
zookeeper原理（转）
摘要：ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些 阅读全文
posted @ 2017-03-09 22:01 PointNet 阅读(193) 评论(0) 推荐(0) 编辑
Apache Kafka：下一代分布式消息系统
摘要：简介 Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。 Apache Kafka与传统消息系统相比，有以下不同： 它被设计为一个分布式系统，易于 阅读全文
posted @ 2017-03-09 16:31 PointNet 阅读(321) 评论(0) 推荐(0) 编辑