随笔分类 -  分布式系统手记

【无中生有】---13---系统发布
摘要:当系统功能开发完成之后,发布就是最后一步了。 手工编译部署存在以下的问题:代码版本可能不是所需要的版本引用库文件版本错误部署配置不统一部署时间花费时间长,不能满足产品部署即时性需求集群规模较大可能无法完成部署解决以上问题则可以通过如下方案解决:部署编译服务器,制定代码版本获取代码进行... 阅读全文

posted @ 2015-06-29 08:54 AI001 阅读(125) 评论(0) 推荐(0) 编辑

【无中生有】---12---运维与监控
摘要:服务器监控:安装与使用:ganglia的安装与使用监控demo:ganglia监控redis和mongodbGanglia是UC Berkeley发起的一个开源集群监视项目,设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能,如:c... 阅读全文

posted @ 2015-06-26 01:11 AI001 阅读(215) 评论(0) 推荐(0) 编辑

【无中生有】---11---服务器集群部署
摘要:业务层次划分架构:集群部署对应设计: 版权声明:本文为博主原创文章,未经博主允许不得转载。 阅读全文

posted @ 2015-06-25 21:55 AI001 阅读(197) 评论(0) 推荐(0) 编辑

【无中生有】---7---分布式消息队列
摘要:技术背景:为什么使用分布式消息队列:参考:使用消息队列的 10 个理由几种常见分布式消息队列各有所长,有的性能好,有的数据安全性好,有的社区支持好。但是无论使用何种消息队列,将自己需求进行分析后抽象为业务接口对成品消息队列产品进行封装是一种较好的选择,既便于消息队列软件和自己的业务软件之间解耦合,也... 阅读全文

posted @ 2015-06-25 16:39 AI001 阅读(275) 评论(0) 推荐(0) 编辑

【无中生有】---10---API接口日志存储设计与实现设计
摘要:使用ESB架构有一个细节点,就是关于API日志的设计虽然可以通过消息通知模式来统一接口间的相互调用,但是最终还需要各个服务API来真正承接服务。而对API进行监控既有利于对系统整体行为进行记录,也能对系统的性能进行分析排查系统的性能瓶颈点。存储仍然使用Cassandra集群请求记录ESBAPILog... 阅读全文

posted @ 2015-05-26 11:23 AI001 阅读(354) 评论(0) 推荐(0) 编辑

【无中生有】---10---API接口日志存储设计与实现设计
摘要:使用ESB架构有一个细节点,就是关于API日志的设计虽然可以通过消息通知模式来统一接口间的相互调用,但是最终还需要各个服务API来真正承接服务。而对API进行监控既有利于对系统整体行为进行记录,也能对系统的性能进行分析排查系统的性能瓶颈点。存储仍然使用Cassandra集群请求记录ESBAPILog... 阅读全文

posted @ 2015-05-26 11:23 AI001 阅读(754) 评论(0) 推荐(0) 编辑

【无中生有】---9---分布式缓存实现
摘要:就集群二字而言,redis的实现比memcache更实在些,当然master单点写入也是一个非常坑的问题。而redis新的3.0版本的master的集群功能,虽然master不再是一台了,但是本质上master单点写入的问题解决的并不太好。而且数据读取的集群化还是需要客户端上去实现,感觉这一版只是作... 阅读全文

posted @ 2015-04-20 17:26 AI001 阅读(127) 评论(0) 推荐(0) 编辑

【无中生有】---9---分布式缓存实现
摘要:就集群二字而言,redis的实现比memcache更实在些,当然master单点写入也是一个非常坑的问题。而redis新的3.0版本的master的集群功能,虽然master不再是一台了,但是本质上master单点写入的问题解决的并不太好。而且数据读取的集群化还是需要客户端上去实现,感觉这一版只是作... 阅读全文

posted @ 2015-04-20 17:26 AI001 阅读(128) 评论(0) 推荐(0) 编辑

【无中生有】---8---分布式配置系统数据库设计
摘要:在集群里手动配置每一台服务器上的程序很明显是不明智的,劳神费力还可能出差异造成程序不一致。而且在发生配置改变的时候还需要一一去做修改,更是麻烦将配置内容的获取与载入作为一个功能插件内化到程序中,并以消息监听器的方式接收配置服务管理端发来的更改通知,移除旧的配置数据在本地生成的数据文件,然后载入新的数... 阅读全文

posted @ 2015-04-17 15:05 AI001 阅读(425) 评论(0) 推荐(0) 编辑

【无中生有】---6---系统日志记录系统存储设计
摘要:一套完整的日志审核系统有助于系统bug确定和线上快速高效的运维。但是系统日志普通情况下又很少大量的查询,但是写入量会比较大。这比较符合Cassandra的数据应用场景。而且由于Cassandra的去中心化,并且Cassandra集群增加节点的过程中可以保持原有数据不删除,而且由于是日志数据,不会有数... 阅读全文

posted @ 2015-04-17 10:01 AI001 阅读(141) 评论(0) 推荐(0) 编辑

【无中生有】---6---系统日志记录系统存储设计
摘要:一套完整的日志审核系统有助于系统bug确定和线上快速高效的运维。但是系统日志普通情况下又很少大量的查询,但是写入量会比较大。这比较符合Cassandra的数据应用场景。而且由于Cassandra的去中心化,并且Cassandra集群增加节点的过程中可以保持原有数据不删除,而且由于是日志数据,不会有数... 阅读全文

posted @ 2015-04-17 10:01 AI001 阅读(356) 评论(0) 推荐(0) 编辑

【无中生有】---5---分布式数据访问层设计思路
摘要:分布式数据访问层有一个问题,那就是如何向同结构的多个数据库请求数据如果是已存在的数据,则相对容易处理,就是根据数据的id的起始字,就是第一个数字判断位于哪个库当然,这就要求每个库的起始id比较大,最好设置为千万级别。由于系统设定目标为使用类型阿里云、卓越云这样的虚拟硬件环境,那种有钱买千万一台小型机... 阅读全文

posted @ 2015-04-13 15:14 AI001 阅读(340) 评论(0) 推荐(0) 编辑

【无中生有】---3---数据库设计-2
摘要:和人相关的一个很紧密的部分便是权限模块,这一块的数据库和功能组件设计完全能够独立出来讲,有人还专攻这个不过为了保持一致,接着讨论权限表的设计。权限表需要一个权限数据表来说明需要对那些系统的功能进行授权:Module表ModuleName字符模块名ModuleShowName字符模块展示名Id整型数据... 阅读全文

posted @ 2015-04-13 11:08 AI001 阅读(169) 评论(0) 推荐(0) 编辑

【无中生有】---3---数据库设计-2
摘要:和人相关的一个很紧密的部分便是权限模块,这一块的数据库和功能组件设计完全能够独立出来讲,有人还专攻这个不过为了保持一致,接着讨论权限表的设计。权限表需要一个权限数据表来说明需要对那些系统的功能进行授权:Module表ModuleName字符模块名ModuleShowName字符模块展示名Id整型数据... 阅读全文

posted @ 2015-04-13 11:08 AI001 阅读(158) 评论(0) 推荐(0) 编辑

【无中生有】---4----数据库设计-3
摘要:社会结构组织化就决定了业务对象基于人还需要另外的一些人的集合的对象。常用的就是公司、部门、职位由于表所面对对象的抽象性程度不同,有些具体化的数据,比如公司结构某个岗位的人数统计字段,不适合放在抽象程度高的表中Company表字段数据类型作用CompanyName字符公司名称CompanyLogo字符... 阅读全文

posted @ 2015-04-10 15:51 AI001 阅读(162) 评论(0) 推荐(0) 编辑

【无中生有】---4----数据库设计-3
摘要:社会结构组织化就决定了业务对象基于人还需要另外的一些人的集合的对象。常用的就是公司、部门、职位由于表所面对对象的抽象性程度不同,有些具体化的数据,比如公司结构某个岗位的人数统计字段,不适合放在抽象程度高的表中Company表字段数据类型作用CompanyName字符公司名称CompanyLogo字符... 阅读全文

posted @ 2015-04-10 15:51 AI001 阅读(172) 评论(0) 推荐(0) 编辑

【无中生有】---2---数据库设计-1
摘要:任何一个系统目前都需要人的参与,电商系统需要客户,企业系统需要雇员,无人值守的系统也需要操作员。所以在业务对象中,人是一个必要的设计对象,不管是不是核心业务对象Person表字段名类型作用Id整型人数据idName字符用户姓名Sex整型性别Birthday日期出生日期IDCard字符身份证号Stat... 阅读全文

posted @ 2015-04-10 14:59 AI001 阅读(145) 评论(0) 推荐(0) 编辑

【无中生有】---1---技术选型
摘要:在构建一个系统时,需要考虑的根本性因素就是所使用的技术的成本。而相关的成本因素都可以通过一定设定条件转换为金钱成本,包括时间、人力等几个主要成本因素。 不同的开发主体或者系统应用主体对不同成本因素的关注点不同的。比如个人开发者一般比较关注金钱成本,倾向于使用能节省金钱的方案;而组织机构在预算充足情况... 阅读全文

posted @ 2015-04-02 06:06 AI001 阅读(97) 评论(0) 推荐(0) 编辑

【无中生有】---1---技术选型
摘要:在构建一个系统时,需要考虑的根本性因素就是所使用的技术的成本。而相关的成本因素都可以通过一定设定条件转换为金钱成本,包括时间、人力等几个主要成本因素。 不同的开发主体或者系统应用主体对不同成本因素的关注点不同的。比如个人开发者一般比较关注金钱成本,倾向于使用能节省金钱的方案;而组织机构在预算充足情况... 阅读全文

posted @ 2015-04-02 06:06 AI001 阅读(147) 评论(0) 推荐(0) 编辑

基于微软net技术的ESB服务框架库
摘要:个人基于微软net技术的ESB服务框架库功能:1.远程化配置2.ESB服务框架3.基于redis的缓存功能4.基于Cassandra的分布式存储以及日志系统5.基于NVelocity简单CMS功能6.基于redis的登录会话缓存管理以下为正在开发功能:7.基于net技术mvc架构的产品灰度发布框架8... 阅读全文

posted @ 2014-08-01 11:56 AI001 阅读(831) 评论(0) 推荐(0) 编辑

导航

点击右上角即可分享
微信分享提示