数字时代的生存

摘要： 说明：最近两天在调研HBase的连接池，有了一些收获，特此记录下来。本文先将官方文档（http://hbase.apache.org/book.html）9.3.1.1节翻译，方便大家阅读，然后查阅了关键类HConnectionManager的Developer API（http://hbase.a... 阅读全文

摘要： 准备：确保hadoop2.2.0集群正常运行1.eclipse中建立mven工程，并编辑pom文件如下 org.apache.hbase hbase-client 0.96.2-hadoop2 ... 阅读全文

摘要： 前言hive是构建在Hadoop上的数据仓库平台，其设计目标是:使Hadoop上的数据操作与传统的SQL结合，让熟悉sql的开发人员能够轻松的像Hadoop平台迁移。Hive是Facebook的信息平台的重要组成部分，Facebook在2008年将其共献给Apache，现在Hive是Hadoop家族... 阅读全文

摘要： 目录：编写第一个Node.js程序；异步式I/O和事件循环；模块和包；调试。1.编写第一个Node.js程序； Node.js 具有深厚的开源血统，它诞生于托管了许多优秀开源项目的网站—— github。和大多数开源软件一样，它由一个黑客发起，然后吸引了一小拨爱好者参与贡献代码。一开始它默默无闻，... 阅读全文

摘要： 前言从2011年开始，中国进入大数据风起云涌的时代，以Hadoop为代表的家族软件，占据了大数据处理的广阔地盘。开源界及厂商，所有数据软件，无一不向Hadoop靠拢。Hadoop也从小众的高富帅领域，变成了大数据开发的标准。在Hadoop原有技术基础之上，出现了Hadoop家族产品，通过“大数据”概... 阅读全文

摘要： 上次我们介绍了nodeJs入门的一些概念包括nodeJs、npm、express，这次我们介绍在linux的安装以及配置过程目录： 1如何在 Linux、Windows上通过包或包管理器安装 Node.js ； 2如何在 POSIX 和 Windows 下通过编译源代码安装 Node.js ；　... 阅读全文

摘要： 摘要：将介绍如何利Javascript做为服务端脚本，通过Nodejs框架web开发。Nodejs框架是基于V8的引擎，是目前速度最快的Javascript引擎。chrome浏览器就基于V8，同时打开20-30个网页都很流畅。Nodejs标准的web开发框架Express，可以帮助我们迅速建立web... 阅读全文

摘要： 前言[转http://blog.fens.me/webstorm-markdown/]WebStorm是一个非常高效的开发工具，特别对于Web前端的开发。Markdown流行，因为其简化了HTML的语法，去掉了表单等复杂标签，以极简的语法只做网页展现。在WebStorem中编辑Markdown文档，... 阅读全文

摘要： 这两天在做大数据方面的项目看到关于job作业调度的设计，扣了两天了，感触良多，记下来做个反省。这是一个精简版的图，其中还有一些没有划到，其实到这里目前对我来说已经足够了。看完图之后进行分析，我只抛砖。ps：任何面向对象的都遵循的设计方法。接口job 只是一个接口，提供job的最直接的操作，也是job本身的操作；jobContext提供给job的上下文环境可以跟job是联系关系，更确切的说是聚合关系，jobcontext有明确的责任范围，给job提供外围的服务；AbstractJob 抽象job类 ，准确的说是包装了job和jobContext，提供了更便捷的方法；ProcessJob抽象osJ 阅读全文

摘要： 问题的提出：shell脚本要做离线的数据处理任务java调用脚本，将这种处理任务封装成webservice特点：shell处理单个时间长每次要处理文件量大这里目前只做调用分析：原来的：private void runShell(String cmd){ try{ logger.info("the command "+cmd); // create a process for the shell ProcessBuilder pb = new ProcessBuilder(... 阅读全文