随笔分类 - 架构设计
摘要：我们在使用RabbitMQ的过程中遇到了一个很麻烦的问题。（RabbitMQ version 2.8.1， Erlang version 5.7.4）我们的使用场景如下：1.cluster模式（假设有3台机器组成的集群）；2.一个exchange，后边绑定多个队列；3.多个producer（producer数目无法减少，和上游流程的处理能力相关）；4.producer可能向多个队列里发消息，消息的到来不均匀，导致可能存在多个producer同时向一个队列持续发送消息的状况；5.消息大小在100KB上下；6.客户端随机连接一台server;7.为了增加发送消息的速率，一个连接对应10个chann
阅读全文
摘要：今天淘宝日照老师来公司做技术交流，交流的主题是《Ocean base结构化数据海量存储》（详见PPT）。这是Hadoop in china 2011上的一个topic，就讲座中的一些点做些笔记。报告共分如下四部分：Ocean base介绍，Ocean base架构，Ocean base应用以及后续的发展计划。Ocean base的数据模型和关系型数据库的数据模型很像，并非schema-free的，这和现在主流的nosql数据库大相径庭。数据模型分为主键和普通列，数据类型现在主要有四种（整形、字符串、日期时间，高精度浮点数）。支持的基本操作有：1.随机读取；2.范围查询；3.写操作（单行、多行、
阅读全文
