摘要： 如果你对nginx日志格式，有这样那样的要求。那么就看一下说明吧。$remote_addr The remote host$remote_user The authenticated user (if any)$time_local The time of... 阅读全文

摘要： 部署暂时先用默认配置，我们来看看如何提交计算程序到spark上面。拿官方的Python的测试程序搞一下。qpzhang@qpzhangdeMac-mini:~/project/spark-1.3.0-bin-hadoop2.4 $cat examples/SimpleApp.py """Simple... 阅读全文

摘要： 通过搭建和运行example，我们初步认识了spark。大概是这么一个流程------------------------------ ---------------------- ----------------------| Application(spark she... 阅读全文

摘要： 为啥要设置ssh无密码登录？我们先来看一下分布式系统的一键启动流程， 在matser机器上运行脚本，脚本检测有多少slavers，然后通过ssh登录到slavers，进入到相同的目录(或者通过$XXX_HOME环境变量进入对应的目录),然后启动slave进程。不同的机器密码可能不一样，这里如果ssh... 阅读全文

摘要： 捣鼓了一下，先来个手动挡吧。自动挡要设置ssh无密码登陆啥的，后面开搞。一、手动多台机链接master手动链接master其实上篇已经用过。这里有两台机器：10.60.215.41 启动master、worker1、application(spark shell)10.0.2.15 启动worker... 阅读全文

摘要： spark是个啥？Spark是一个通用的并行计算框架，由UCBerkeley的AMP实验室开发。Spark和Hadoop有什么不同呢?Spark是基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存... 阅读全文

摘要： pprof是个神马玩意儿？ pprof - manual page for pprof (part of gperftools) 是gperftools工具的一部分 gperftools又是啥？ These tools are for use by developers so that they c 阅读全文

摘要： 一般海量处理服务，都会对服务做个最大连接数限制，超过该限制之后，拒绝服务，避免发生雪崩，压坏服务。使用golang来编写httpserver时，如何进行呢？官方已经有实现好的包。使用示例：import("golang.org/x/net/netutil")l, err := net.Listen("... 阅读全文

摘要： 原文：http://blog.sina.com.cn/s/blog_3fc85e260100msz3.html每个事务使得数据库从一个一致的永久状态原子地转移到一个新的一致的永久状态，可以说，事务的ACID(the transactional properties of Atomicity, Con... 阅读全文

摘要： 真正有了这样的需求，可以借鉴。转自：http://csrd.aliapp.com/?p=671由于数据量的巨大，大部分Web应用都需要部署很多个数据库实例。这样，有些用户操作就可能需要去修改多个数据库实例中的数据。传统的解决方法是使用分布式事务保证数据的全局一致性，经典的方法是使用两阶段提交协议。长... 阅读全文