12 2012 档案
摘要:Hadoop之mapreduce 实例二
阅读全文
摘要:Hadoop之mapreduce 实例一
阅读全文
摘要:如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到,但是他们都有什么功能,为什么会需要奇怪的名字(如Oozie,ZooKeeper、Flume)。Hadoop带...
阅读全文
摘要:此文章已于 23:19:00 2015/8/4 重新发布到 农民阿姨 Hadoop之MapReduce 提交任务 hadoop jar hadoopdemo-1.0-SNAPSHOT-jar-with-dependencies.jar /user/root/testmr/hello.txt /use
阅读全文
摘要:安装其实很简单,把下载下来的Hadoop文件拷贝到相应的目录下,然后接压缩即可,关键是先要安装好JDK,前期的Linux要配置好。下面我把我的操作过程记录如下,供大家参考:登录到HadoopSrv01机器上,进行如下操作:1: su - grid2: tar -xvf hadoop-1.2.1-bi...
阅读全文
摘要:1.序列化(Serialization)是指把结构化对象转化为字节流。 -写到内存2.反序列化(Deserialization)是序列化的逆过程。即把字节流转回结构化对象。-读到内存3.Java序列化(java.io.Serializable)java Serializable 是标志接口,在使用的...
阅读全文
摘要:1.传输文件 hdfs fs –put hell / 2. jar包运行 hadoop jar wordcount.jar 3. 查看文件: hadoop fs -text /part-r-0000 4.查看文件大小 hadoop fs -du -h / 5.统计文件数据量 hdfs dfs -ls
阅读全文