lz3018

2016年3月5日

摘要：首先介绍涉及到的知识点，如下： 1）value的类型是IntArrayWritable，将整型数组值取出的方法有两种。 a.其一，就是使用value的toArray()方法,返回值是一个Object obValue,然后使用Array.get(obValue,index)，就可以获得数组中的元素（O 阅读全文

posted @ 2016-03-05 20:05 lz3018 阅读(562) 评论(0) 推荐(0) 编辑

由SequenceFile.Writer(key,value)谈toString()方法

摘要：之前有篇博客（http://www.cnblogs.com/lz3018/p/5243503.html）介绍以SequenceFile作为输入源进行矩阵乘法的过程，首先是将矩阵存储到SequenceFile文件中，然后使用hadoop命令:hadoop fs -text /10IntArray 查看阅读全文

posted @ 2016-03-05 16:32 lz3018 阅读(883) 评论(0) 推荐(0) 编辑

2016年3月4日

自定义数据类型写入SequenceFile并读出

摘要：开头对这边博客的内容做个概述，首先是定义了一个DoubleArrayWritable的类，用于存放矩阵的列向量，然后将其作为value写入SequenceFile中，key就是对应的矩阵的列号，最后(key,value)从SequenceFile中读出，与另一矩阵做乘法。完全通过IDEA在本地调试程阅读全文

posted @ 2016-03-04 21:23 lz3018 阅读(2782) 评论(0) 推荐(0) 编辑

hadoop中URI理解

摘要： 1）在编写MR程序的时候经常会有如下代码： String uri=“。。。。”； Configuration conf=new Configuration（）； FileSystem fs=FileSystem.get(URI.create(uri),conf); URI究竟是什么东西？有什么用？2 阅读全文

posted @ 2016-03-04 20:52 lz3018 阅读(4164) 评论(0) 推荐(1) 编辑

输入格式CombineFileInput

摘要：此输入格式的作用就是可以将来自多个不同文件的物理块作为一个split，然后由一个map进行处理。 http://www.blogjava.net/shenh062326/archive/2012/07/03/hadoop.html 阅读全文

posted @ 2016-03-04 09:24 lz3018 阅读(173) 评论(0) 推荐(0) 编辑

分布式缓存DistributedCache的使用

摘要：分布式缓存用于将使用的小文件首先分发到各个datanode节点上，然后利用map/reduce阶段的setup()方法将文件内容读入内存，加快程序执行。具体实现方法如下： http://demievil.github.io/2014/10/29/Hadoop-DistributedCache/ 阅读全文

posted @ 2016-03-04 09:16 lz3018 阅读(562) 评论(0) 推荐(0) 编辑

输入格式MultipleInput

摘要： MultipleInput输入格式允许一个job的输入为多个文件夹下的文件(也就是多路径输入)，并且不同文件夹下的文件可以实现不同的map逻辑，不过貌似必须使用相同的reduce逻辑。 http://blog.csdn.net/u010366796/article/details/44727471 阅读全文

posted @ 2016-03-04 09:13 lz3018 阅读(247) 评论(0) 推荐(0) 编辑

2016年2月29日

将Java程序打jar包并运行

摘要： 1）接着上篇博客继续说手动编译之后，将代码打成jar包，然后直接“java -jar lz.jar"运行不成功的问题。还是先上代码：这个是Demo类： package org.lz.demo.a ; public class Demo{ public String getContent(){ re 阅读全文

posted @ 2016-02-29 19:10 lz3018 阅读(25165) 评论(1) 推荐(0) 编辑

手动编译含package的java源程序(包含外部包中定义的类)

摘要： 1）定义一个GSM类，如下：包名是“SRC.GSM”，并且此程序引用了外部jar包。使用javac命令对GSM.java进行编译: GSM.java所在的文件夹如下所示：切换到这个目录为当前工作目录，使用javac编译（http://www.cnblogs.com/Yogurshine/p/31 阅读全文

posted @ 2016-02-29 14:54 lz3018 阅读(6003) 评论(0) 推荐(0) 编辑

使用IDEA创建package

摘要： 1）使用IDEA创建java工程什么也不选，直接点击Next 无脑继续下一步点击“Finish”完成工程的创建。 2）在使用IDEA创建了工程之后，首先选中“src”文件夹，然后紧接着输入包名然后，在“src”目录下就生成了一个“SRC.GSM”,在这个包名之下创建GSM.java文件，然后阅读全文

posted @ 2016-02-29 14:33 lz3018 阅读(4826) 评论(0) 推荐(0) 编辑

公告