摘要:
Hadoop使用的是HDFS,能够实现的功能和我们使用的磁盘系统类似。并且支持通配符,如*。 1. 查看文件列表查看hdfs中/user/admin/hdfs目录下的文件。a. 进入HADOOP_HOME目录。b. 执行sh bin/hadoop fs -ls /user/admin/hdfs查看hdfs中/user/admin/hdfs目录下的所有文件(包括子目录下的文件)。a. 进入HADOOP_HOME目录。b. 执行sh bin/hadoop fs -lsr /user/admin/hdfs 2. 创建文件目录查看hdfs中/user/admin/hdfs目录下再新建一个叫做newDi 阅读全文
摘要:
原文自:http://kkovacs.eu/cassandra-vs-mongodb-vs-couchdb-vs-redisCassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase vs Membase vs Neo4jWhile SQL databases are insanely useful tools, their monopoly of ~15 years is coming to an end.And it was just time: I can't even count the things that were 阅读全文
摘要:
安装:http://www.neo4j.org/install核心特点:1.完全满足ACID事务原则2.快 阅读全文
摘要:
参见:http://www.codeproject.com/Articles/93369/How-I-explained-OOD-to-my-wife话题:为什么要进行面向对象设计?软件开发唯一的真理是“软件必然修改”。一个敏捷设计的软件能轻松应对变化,能被扩展和复用。而应用“面向对象设计”是做到敏捷设计的关键。如果代码符合以下几点,那么你就在“面向对象设计”:面向对象复用变化的代价极小无需改代码即可扩展现在有许多设计原则,但是最基本的,就是SOLID(缩写),这五项原则。S = 单一责任原则O = 开闭原则L = Liscov替换原则I = 接口隔离原则D = 依赖倒置原则话题:单一功能原则 阅读全文
摘要:
转载自:http://www.oschina.net/translate/linux-kernel-coding-style这是一篇用来描述 linux 内核的首选编码样式的短文档。每个人都有自己的编码风格,我不会 将我的观点强加到任何人的身上,但这正是我所要保持的东西,就像其他许多事情一样。至少请考虑在这里所列出的观点。首先,我建议打印出GNU编码标准的副本,不要去阅读,而是将这个典范刻录下来。好,现在正式开始:第1章:缩进T一个Tab键有8个字符位因此一个缩进也是8个字符位. 有人试图将一个缩进定义场4个字符位甚至2个, 这无异于试图将Pi的值定义为3.说明: 缩进的意义在于定义语句块的开 阅读全文
摘要:
主要参考: http://hadoop.apache.org/docs/r0.20.0/quickstart.html其中,JAVA_HOME设置的为/usr/lib/jvm/java-6-sun ,这个为本机java的路径,可以将java-6-openjdk改为这个,命令:update-java-alternatives -s java-6-sun单台操作这个模式是在一个java进程中运行hadoop,便于调试,具体操作为在根目录下:$ mkdir input $ cp conf/*.xml input $ bin/hadoop jarhad... 阅读全文
摘要:
转载自 http://www.cnblogs.com/frankjobs/archive/2008/07/14/1242324.html创建补丁文件diff -Naur 旧的目录 新的目录 > patch文件或者diff -Naur 旧的文件 新的文件 > patch文件对于目录层数的一些限制在创建patch的时候文件夹的层数应当是一样的,比如--- old/modules/pcitableMon Sep 27 11:03:56 1999+++ new/modules/pcitableTue Dec 19 20:05:41 2000这样是可以的。而--- old/try1/othe 阅读全文
摘要:
1.用haddop提供的C API to HDFS来实现文件写入到HDFS中。过程中主要是在配置环境花了点时间参考官网:http://hadoop.apache.org/common/docs/r0.20.203.0/libhdfs.html不用重新编译直接用$HADOOP_HOME/c++/Linux-Linux-amd64-64/lib即可,若要编译libhdfs,在hadoop顶层目录运行:ant compile-c++-libhdfs -Dislibhdfs=trueAPI主要可以去hadoop软件包解压目录中查看hdfs.h定义的一些已实现的函数一门语言的初学入门例子,一般都是“he 阅读全文
摘要:
转载自:http://xiaoli110.blog.51cto.com/1724/1070201我们为什么需要资源控制?在实际的生产环境中,希望每台虚拟机对资源的消耗是可控的,避免过度的消耗资源,造成对其他虚拟机的影响。测试环境:Centos 6.3 update到 2012年11月 25日。操作步骤1.升级系统到最新yum update -y2.安装epel源rpm -Uvh http://mirrors.sohu.com/fedora-epel/6/x86_64/epel-release-6-7.noarch.rpm3.安装cgroup包yum install libcgroup libg 阅读全文
摘要:
转载自:http://blog.sina.com.cn/s/blog_406d9bb00100ui5p.htmlStorm是一个分布式的、容错的实时计算系统,遵循Eclipse Public License 1.0,Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算,Storm之于实时处理,就好比Hadoop之于批处理。Storm保证每个消息都会得到处理,而且它很快——在一个小集群中,每秒可以处理数以百万计的消息。可以使用任意编程语言来做开发。主要商业应用及案例:TwitterStorm的优点1. 简单的编程模型。类似于MapReduce降低了并行批处理复杂性,Storm降低了进行 阅读全文