随笔档案「2015年3月」 - GZ.Jackey

提交任务到spark master -- 分布式计算系统spark学习(四)

摘要：部署暂时先用默认配置，我们来看看如何提交计算程序到spark上面。拿官方的Python的测试程序搞一下。qpzhang@qpzhangdeMac-mini:~/project/spark-1.3.0-bin-hadoop2.4 $cat examples/SimpleApp.py """Simple... 阅读全文

posted @ 2015-03-25 18:12 GZ.Jackey 阅读(10810) 评论(0) 推荐(0)

系统架构--分布式计算系统spark学习(三)

摘要：通过搭建和运行example，我们初步认识了spark。大概是这么一个流程------------------------------ ---------------------- ----------------------| Application(spark she... 阅读全文

posted @ 2015-03-23 17:54 GZ.Jackey 阅读(1006) 评论(0) 推荐(0)

ssh无密码登录设置

摘要：为啥要设置ssh无密码登录？我们先来看一下分布式系统的一键启动流程，在matser机器上运行脚本，脚本检测有多少slavers，然后通过ssh登录到slavers，进入到相同的目录(或者通过$XXX_HOME环境变量进入对应的目录),然后启动slave进程。不同的机器密码可能不一样，这里如果ssh... 阅读全文

posted @ 2015-03-23 16:24 GZ.Jackey 阅读(2668) 评论(0) 推荐(0)

Spark Standalone Mode 多机启动 -- 分布式计算系统spark学习(二)（更新一键启动slavers）

摘要：捣鼓了一下，先来个手动挡吧。自动挡要设置ssh无密码登陆啥的，后面开搞。一、手动多台机链接master手动链接master其实上篇已经用过。这里有两台机器：10.60.215.41 启动master、worker1、application(spark shell)10.0.2.15 启动worker... 阅读全文

posted @ 2015-03-20 18:54 GZ.Jackey 阅读(5494) 评论(1) 推荐(0)

Spark Standalone Mode 单机启动Spark -- 分布式计算系统spark学习(一)

摘要：spark是个啥？Spark是一个通用的并行计算框架，由UCBerkeley的AMP实验室开发。Spark和Hadoop有什么不同呢?Spark是基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存... 阅读全文

posted @ 2015-03-20 11:21 GZ.Jackey 阅读(28788) 评论(0) 推荐(0)

为golang程序使用pprof远程查看httpserver运行堆栈,cpu耗时等信息

摘要：pprof是个神马玩意儿？ pprof - manual page for pprof (part of gperftools) 是gperftools工具的一部分 gperftools又是啥？ These tools are for use by developers so that they c 阅读全文

posted @ 2015-03-17 19:00 GZ.Jackey 阅读(14592) 评论(0) 推荐(0)

golang官方实现如何对httpserver做频率限制(最大连接数限制)

摘要：一般海量处理服务，都会对服务做个最大连接数限制，超过该限制之后，拒绝服务，避免发生雪崩，压坏服务。使用golang来编写httpserver时，如何进行呢？官方已经有实现好的包。使用示例：import("golang.org/x/net/netutil")l, err := net.Listen("... 阅读全文

posted @ 2015-03-17 14:17 GZ.Jackey 阅读(9743) 评论(0) 推荐(0)

【转】涨姿势了，数据库隔离性的几个级别

摘要：原文：http://blog.sina.com.cn/s/blog_3fc85e260100msz3.html每个事务使得数据库从一个一致的永久状态原子地转移到一个新的一致的永久状态，可以说，事务的ACID(the transactional properties of Atomicity, Con... 阅读全文

posted @ 2015-03-13 16:54 GZ.Jackey 阅读(1070) 评论(0) 推荐(0)

[转]【收藏】用消息队列和消息应用状态表来消除分布式事务

摘要：真正有了这样的需求，可以借鉴。转自：http://csrd.aliapp.com/?p=671由于数据量的巨大，大部分Web应用都需要部署很多个数据库实例。这样，有些用户操作就可能需要去修改多个数据库实例中的数据。传统的解决方法是使用分布式事务保证数据的全局一致性，经典的方法是使用两阶段提交协议。长... 阅读全文

posted @ 2015-03-13 14:32 GZ.Jackey 阅读(252) 评论(0) 推荐(0)

临时修改当前crontab编辑器

摘要：EDITOR=viexport EDITOR然后crontab -e就不会有这个问题了阅读全文

posted @ 2015-03-12 21:49 GZ.Jackey 阅读(291) 评论(0) 推荐(0)

golang处理 json中非法字符

摘要：原文：Hi there,I just discovered Go and decided to port a little program to Go.The program reads JSON-Data from an URL and process the Data. The Goport w... 阅读全文

posted @ 2015-03-12 10:58 GZ.Jackey 阅读(12378) 评论(0) 推荐(0)

nsq里面WaitGroups两种实用的用法

摘要：看过好几遍了，觉得挺实用的，记录备忘一下。1.开启很多个goroutine 之后，等待执行完毕type WaitGroupWrapper struct { sync.WaitGroup}func (w *WaitGroupWrapper) Wrap(cb func()) { w.Add(... 阅读全文

posted @ 2015-03-10 14:54 GZ.Jackey 阅读(625) 评论(0) 推荐(0)

golang zlib 压缩，解压缩

摘要：package mainimport ( "bytes" "compress/zlib" "fmt" "io" "os")//进行zlib压缩func DoZlibCompress(src []byte) []byte { var in bytes.Buffer ... 阅读全文

posted @ 2015-03-09 12:03 GZ.Jackey 阅读(7302) 评论(1) 推荐(0)

golang http.ResponseWriter valid json

摘要：golang httpserver如果采用 fmt.Fprintf(w, result)来输出json数据时，若json数据包含%号，则会出现问题。输出结果里面会包含(MISSING)字样，造成json格式错误。把输出函数替换为w.Write即可。func Action(w http.Respons... 阅读全文

posted @ 2015-03-02 10:22 GZ.Jackey 阅读(2055) 评论(0) 推荐(0)