11 2013 档案
摘要：hbaseHBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop 项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。hadoop家族hadoop家族成员：Hadoop Common Hadoop体系最底层
阅读全文
摘要：模板方法python也是一种面向对象的语言，所以在实现群发的时候，会登陆不同的网站，但是登陆的方法什么的不尽相同，所以这里想到的是模板方法。模板方法模式：应用特性：重复做相同逻辑的事情，但是具体细节不同的场景结构特性：相同逻辑抽取至父类，具体细节留置子类。可以说是对逻辑的抽象看一下代码：#!/usr/bin/env python #encoding: utf-8 class template: def __init__(self): pass def logic(self): print 'do something before ....' ...
阅读全文
摘要：介绍Open API即开放API,也称开放平台。 所谓的开放API（OpenAPI）是服务型网站常见的一种应用，网站的服务商将自己的网站服务封装成一系列API（Application Programming Interface，应用编程接口）开放出去，供第三方开发者使用，这种行为就叫做开放网站的API，所开放的API就被称作OpenAPI（开放API）。开放平台分类根据开放层级划分，开放平台主要分为四层，即“硬件”层、系统层、业务层和应用层。其中，业务层开放和应用层开放是更加贴近互联网层面的开放方式。根据开放技术划分，可将开放平台划分为五种类型：OpenAPI 型开放平台、插件式开放平台、综合
阅读全文
摘要：博客群发 最近想把博客发到多个博客里去，发现现在网上很多软件都是收费的，而且效果怎么样也不清楚，于是有了这个想法，想做一个博客群发的软件，基本的语言使用的是python。 基本想法 构思已基本完成，在google code上建立项目。 http://code.google.com/p/blog-multi-send/ 初步构想如下： 其中红色部分在开发初期不实现，后期逐步扩展。 ...
阅读全文
摘要：概述最近要做一个实时分析的项目，所以需要深入一下storm。为什么storm综合下来，有以下几点：1. 生逢其时MapReduce 计算模型打开了分布式计算的另一扇大门，极大的降低了实现分布式计算的门槛。有了MapReduce架构的支持，开发者只需要把注意力集中在如何使用 MapReduce的语义来解决具体的业务逻辑，而不用头疼诸如容错，可扩展性，可靠性等一系列硬骨头。一时间，人们拿着MapReduce这把榔头去敲 各种各样的钉子，自然而然的也试图用MapReduce计算模型来解决流处理想要解决的问题。各种失败的尝试之后，人们意识到，改良MapReduce并 不能使之适应于流处理的场景，必须发
阅读全文
