系统架构 - 随笔分类 - GZ.Jackey

摘要：Reactive_MircService_Architecture Lightbend CTO的50页的小册子，对响应式系统以及微服务架构介绍非常全面，整理了一个脑图来先。阅读全文

posted @ 2016-09-30 18:40 GZ.Jackey 阅读(449) 评论(0) 推荐(0)

摘要：介绍的比较全面，可以借鉴学习：原文连接：http://tech.meituan.com/mq-design.html 消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件，如阅读全文

posted @ 2016-07-12 11:56 GZ.Jackey 阅读(470) 评论(0) 推荐(0)

[goa]golang微服务框架学习－－安装使用

摘要：当项目逐渐变大之后，服务增多，开发人员增加，单纯的使用go来写服务会遇到风格不统一，开发效率上的问题。之前研究go的微服务架构go-kit最让人头疼的就是定义服务之后，还要写很多重复的框架代码，一直再想如何使用IDL描述服务，然后自动生成框架代码。直到遇到老这货 goa，另外一个go的微服务框架阅读全文

posted @ 2016-05-26 16:17 GZ.Jackey 阅读(16164) 评论(0) 推荐(0)

让spark运行在mesos上 -- 分布式计算系统spark学习(五)

摘要：mesos集群部署参见上篇。运行在mesos上面和 spark standalone模式的区别是：1）stand alone需要自己启动spark master需要自己启动spark slaver（即工作的worker）2）运行在mesos启动mesos master启动mesos slaver启动... 阅读全文

posted @ 2015-11-05 16:00 GZ.Jackey 阅读(6589) 评论(2) 推荐(0)

mesos框架编译部署

摘要：mesos是什么呢？一个分布式调度框架，让你编写代码时面对整个集群像面对一台机器那么简单。所有的运行，资源调度都可以由它来帮你搞掂。1.mesos安装有两种方式：1）参考官网的getstart，下载源码然后进行编译http://mesos.apache.org/gettingstarted/这个就不... 阅读全文

posted @ 2015-11-05 11:57 GZ.Jackey 阅读(3761) 评论(0) 推荐(0)

如何让thrift0.9.2 在macos上面编译通过？

摘要：为将来跨语言通信预研，选择了thrift来试试。结果在mac os上面安装遇到种种困难，不知道是我选择方法错误还是咋的，不管怎样，总算是编译过去了。首先，我们来参考官网的安装步骤：https://thrift.apache.org/docs/install/os_xOS X SetupThe fol... 阅读全文

posted @ 2015-04-24 11:37 GZ.Jackey 阅读(3654) 评论(0) 推荐(0)

提交任务到spark master -- 分布式计算系统spark学习(四)

摘要：部署暂时先用默认配置，我们来看看如何提交计算程序到spark上面。拿官方的Python的测试程序搞一下。qpzhang@qpzhangdeMac-mini:~/project/spark-1.3.0-bin-hadoop2.4 $cat examples/SimpleApp.py """Simple... 阅读全文

posted @ 2015-03-25 18:12 GZ.Jackey 阅读(10818) 评论(0) 推荐(0)

系统架构--分布式计算系统spark学习(三)

摘要：通过搭建和运行example，我们初步认识了spark。大概是这么一个流程------------------------------ ---------------------- ----------------------| Application(spark she... 阅读全文

posted @ 2015-03-23 17:54 GZ.Jackey 阅读(1007) 评论(0) 推荐(0)

Spark Standalone Mode 多机启动 -- 分布式计算系统spark学习(二)（更新一键启动slavers）

摘要：捣鼓了一下，先来个手动挡吧。自动挡要设置ssh无密码登陆啥的，后面开搞。一、手动多台机链接master手动链接master其实上篇已经用过。这里有两台机器：10.60.215.41 启动master、worker1、application(spark shell)10.0.2.15 启动worker... 阅读全文

posted @ 2015-03-20 18:54 GZ.Jackey 阅读(5497) 评论(1) 推荐(0)

Spark Standalone Mode 单机启动Spark -- 分布式计算系统spark学习(一)

摘要：spark是个啥？Spark是一个通用的并行计算框架，由UCBerkeley的AMP实验室开发。Spark和Hadoop有什么不同呢?Spark是基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存... 阅读全文

posted @ 2015-03-20 11:21 GZ.Jackey 阅读(28791) 评论(0) 推荐(0)

【转】涨姿势了，数据库隔离性的几个级别

摘要：原文：http://blog.sina.com.cn/s/blog_3fc85e260100msz3.html每个事务使得数据库从一个一致的永久状态原子地转移到一个新的一致的永久状态，可以说，事务的ACID(the transactional properties of Atomicity, Con... 阅读全文

posted @ 2015-03-13 16:54 GZ.Jackey 阅读(1071) 评论(0) 推荐(0)

[转]【收藏】用消息队列和消息应用状态表来消除分布式事务

摘要：真正有了这样的需求，可以借鉴。转自：http://csrd.aliapp.com/?p=671由于数据量的巨大，大部分Web应用都需要部署很多个数据库实例。这样，有些用户操作就可能需要去修改多个数据库实例中的数据。传统的解决方法是使用分布式事务保证数据的全局一致性，经典的方法是使用两阶段提交协议。长... 阅读全文

posted @ 2015-03-13 14:32 GZ.Jackey 阅读(253) 评论(0) 推荐(0)

随笔分类 - 系统架构