12 2012 档案

摘要:Hadoop之mapreduce 实例二 阅读全文
posted @ 2012-12-27 21:36 农民阿姨 阅读(161) 评论(0) 推荐(0) 编辑
摘要:Hadoop之mapreduce 实例一 阅读全文
posted @ 2012-12-26 21:28 农民阿姨 阅读(102) 评论(0) 推荐(0) 编辑
摘要:如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到,但是他们都有什么功能,为什么会需要奇怪的名字(如Oozie,ZooKeeper、Flume)。Hadoop带... 阅读全文
posted @ 2012-12-19 21:42 农民阿姨 阅读(362) 评论(0) 推荐(0) 编辑
摘要:此文章已于 23:19:00 2015/8/4 重新发布到 农民阿姨 Hadoop之MapReduce 提交任务 hadoop jar hadoopdemo-1.0-SNAPSHOT-jar-with-dependencies.jar /user/root/testmr/hello.txt /use 阅读全文
posted @ 2012-12-19 21:01 农民阿姨 阅读(399) 评论(0) 推荐(0) 编辑
摘要:安装其实很简单,把下载下来的Hadoop文件拷贝到相应的目录下,然后接压缩即可,关键是先要安装好JDK,前期的Linux要配置好。下面我把我的操作过程记录如下,供大家参考:登录到HadoopSrv01机器上,进行如下操作:1: su - grid2: tar -xvf hadoop-1.2.1-bi... 阅读全文
posted @ 2012-12-19 20:51 农民阿姨 阅读(197) 评论(0) 推荐(0) 编辑
摘要:1.序列化(Serialization)是指把结构化对象转化为字节流。 -写到内存2.反序列化(Deserialization)是序列化的逆过程。即把字节流转回结构化对象。-读到内存3.Java序列化(java.io.Serializable)java Serializable 是标志接口,在使用的... 阅读全文
posted @ 2012-12-19 14:02 农民阿姨 阅读(188) 评论(0) 推荐(0) 编辑
摘要:1.传输文件 hdfs fs –put hell / 2. jar包运行 hadoop jar wordcount.jar 3. 查看文件: hadoop fs -text /part-r-0000 4.查看文件大小 hadoop fs -du -h / 5.统计文件数据量 hdfs dfs -ls 阅读全文
posted @ 2012-12-18 15:01 农民阿姨 阅读(224) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示