上一页 1 2 3 4 5 6 7 8 9 10 ··· 19 下一页
摘要: 首先介绍涉及到的知识点,如下: 1)value的类型是IntArrayWritable,将整型数组值取出的方法有两种。 a.其一,就是使用value的toArray()方法,返回值是一个Object obValue,然后使用Array.get(obValue,index),就可以获得数组中的元素(O 阅读全文
posted @ 2016-03-05 20:05 lz3018 阅读(559) 评论(0) 推荐(0) 编辑
摘要: 之前有篇博客(http://www.cnblogs.com/lz3018/p/5243503.html)介绍以SequenceFile作为输入源进行矩阵乘法的过程,首先是将矩阵存储到SequenceFile文件中,然后使用hadoop命令:hadoop fs -text /10IntArray 查看 阅读全文
posted @ 2016-03-05 16:32 lz3018 阅读(881) 评论(0) 推荐(0) 编辑
摘要: 开头对这边博客的内容做个概述,首先是定义了一个DoubleArrayWritable的类,用于存放矩阵的列向量,然后将其作为value写入SequenceFile中,key就是对应的矩阵的列号,最后(key,value)从SequenceFile中读出,与另一矩阵做乘法。完全通过IDEA在本地调试程 阅读全文
posted @ 2016-03-04 21:23 lz3018 阅读(2781) 评论(0) 推荐(0) 编辑
摘要: 1)在编写MR程序的时候经常会有如下代码: String uri=“。。。。”; Configuration conf=new Configuration(); FileSystem fs=FileSystem.get(URI.create(uri),conf); URI究竟是什么东西?有什么用?2 阅读全文
posted @ 2016-03-04 20:52 lz3018 阅读(4138) 评论(0) 推荐(1) 编辑
摘要: 此输入格式的作用就是可以将来自多个不同文件的物理块作为一个split,然后由一个map进行处理。 http://www.blogjava.net/shenh062326/archive/2012/07/03/hadoop.html 阅读全文
posted @ 2016-03-04 09:24 lz3018 阅读(173) 评论(0) 推荐(0) 编辑
摘要: 分布式缓存用于将使用的小文件首先分发到各个datanode节点上,然后利用map/reduce阶段的setup()方法将文件内容读入内存,加快程序执行。具体实现方法如下: http://demievil.github.io/2014/10/29/Hadoop-DistributedCache/ 阅读全文
posted @ 2016-03-04 09:16 lz3018 阅读(562) 评论(0) 推荐(0) 编辑
摘要: MultipleInput输入格式允许一个job的输入为多个文件夹下的文件(也就是多路径输入),并且不同文件夹下的文件可以实现不同的map逻辑,不过貌似必须使用相同的reduce逻辑。 http://blog.csdn.net/u010366796/article/details/44727471 阅读全文
posted @ 2016-03-04 09:13 lz3018 阅读(246) 评论(0) 推荐(0) 编辑
摘要: 1)接着上篇博客继续说手动编译之后,将代码打成jar包,然后直接“java -jar lz.jar"运行不成功的问题。还是先上代码: 这个是Demo类: package org.lz.demo.a ; public class Demo{ public String getContent(){ re 阅读全文
posted @ 2016-02-29 19:10 lz3018 阅读(25159) 评论(1) 推荐(0) 编辑
摘要: 1)定义一个GSM类,如下: 包名是“SRC.GSM”,并且此程序引用了外部jar包。使用javac命令对GSM.java进行编译: GSM.java所在的文件夹如下所示: 切换到这个目录为当前工作目录,使用javac编译(http://www.cnblogs.com/Yogurshine/p/31 阅读全文
posted @ 2016-02-29 14:54 lz3018 阅读(6002) 评论(0) 推荐(0) 编辑
摘要: 1)使用IDEA创建java工程 什么也不选,直接点击Next 无脑继续下一步 点击“Finish”完成工程的创建。 2)在使用IDEA创建了工程之后,首先选中“src”文件夹,然后 紧接着输入包名 然后,在“src”目录下就生成了一个“SRC.GSM”,在这个包名之下创建GSM.java文件,然后 阅读全文
posted @ 2016-02-29 14:33 lz3018 阅读(4824) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 9 10 ··· 19 下一页