posted @ 2014-01-24 16:31 |orz 阅读(235) 评论(0) 推荐(0) 编辑
摘要:
This document shows how to write a daemon in Linux using GCC. Knowledge of Linux and a familiarity with C are necessary to use this document. This HOWTO is Copyright by Devin Watson, under the terms of the BSD License. 阅读全文
摘要:
期望一个凡人掌握开发过程中各个方面的知识,合理吗?也许不合理,但是Facebook正是要寻找这样的人。在一个OSCON会议上,一名Facebook的工程师告诉我的,他们只聘请“全能(Full stack)”的程序员。那么,全能是什么意思呢? 阅读全文
posted @ 2014-01-15 13:12 |orz 阅读(241) 评论(0) 推荐(0) 编辑
摘要:
接触Hadoop有两年的时间了,期间遇到很多的问题,既有经典的NameNode和JobTracker内存溢出故障,也有HDFS存储小文件问题,既有任务调度问题,也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷(短板),有些则是使用的不当。
在解决问题的过程中,有时需要翻源码,有时会向同事、网友请教,遇到复杂问题则会通过mail list向全球各地Hadoop使用者,包括Hadoop Committer(Hadoop开发者)求助。在获得很多人帮助后,自己将遇到问题和心得整理成文,希望本文可以对那些焦头烂额的Hadoop新手们有所帮助,少走笔者的弯路。
PS. 本文基于 Cloudera CDH 3u4(同Apache Hadoop 1.0)编写。相关推荐配置为官方推荐值或者笔者经验数值,它不是绝对的,可能会因为不同的应用场景和硬件环境有所出入。 阅读全文
posted @ 2013-08-01 14:28 |orz 阅读(196) 评论(0) 推荐(0) 编辑
摘要:
本文是Hadoop最佳实践系列第二篇,上一篇为《Hadoop管理员的十个最佳实践》。
MapRuduce开发对于大多数程序员都会觉得略显复杂,运行一个WordCount(Hadoop中hello word程序)不仅要熟悉MapRuduce模型,还要了解Linux命令(尽管有Cygwin,但在Windows下运行MapRuduce仍然很麻烦),此外还要学习程序的打包、部署、提交job、调试等技能,这足以让很多学习者望而退步。 阅读全文
posted @ 2013-08-01 14:26 |orz 阅读(297) 评论(0) 推荐(0) 编辑
摘要:
这份报告的全名是《How to Choose the Right Apache Hadoop Distribution》。主要介绍了企业如何引入Hadoop,其中一些内容很好,值得一看。 阅读全文
posted @ 2013-07-11 15:06 |orz 阅读(715) 评论(0) 推荐(0) 编辑
摘要:
Crontab 介绍
crontab命令的功能是在一定的时间间隔调度一些命令的执行。 阅读全文
posted @ 2013-07-02 15:45 |orz 阅读(261) 评论(0) 推荐(0) 编辑