上一页 1 2 3 4 5 6 7 8 9 ··· 19 下一页
摘要: SeqReader是我定义的一个读取SequenceFile文件,并将部分(key,value)打印到控制台窗口的类,其完整代码如下:  关于生成可执行jar包,这里只说几点需要注意的地方,详细信息可以参考:http://www.cnblogs.com/lz3018/p/5228639.html 1 阅读全文
posted @ 2016-03-14 20:49 lz3018 阅读(303) 评论(0) 推荐(0) 编辑
摘要: 1)子类对象引用转变为父类的引用,称为向上转型。按照目前的理解,向上转型的一个重要作用就是方便实现多态,在向上转型的过程中,相对于父类来说,子类多余的方法丢失,也就是访问不到了。不过再通过向下转型就可以访问了。 2)父类对象引用转化为子类引用,称为向下转型。使用向下转型之前,最好使用A instan 阅读全文
posted @ 2016-03-13 23:13 lz3018 阅读(279) 评论(0) 推荐(0) 编辑
摘要: 使用hdfs的api接口分别实现从本地上传文件到集群和从集群下载文件到本地。 1)上传文件主要是使用FileSystem类的copyFromLocalFile()方法来实现,另外我们上传文件时可以指定以多大的物理块来存储此文件,使用conf.set("dfs.block.size","8388608 阅读全文
posted @ 2016-03-13 20:05 lz3018 阅读(2290) 评论(0) 推荐(0) 编辑
摘要: 1)IDEA中文乱码,解决方法:http://blog.csdn.net/zht666/article/details/8953516 2)卸载OpenJdk,http://my.oschina.net/lxrm/blog/110638?fromerr=WFdow8FP 3)Java包命名规范,ht 阅读全文
posted @ 2016-03-11 11:04 lz3018 阅读(403) 评论(0) 推荐(0) 编辑
摘要: 还是计算矩阵的乘积,待计算的表达式如下: S=F*[B+mu(u+s+b+d)] 其中,矩阵B、u、s、d分别存放在名称对应的SequenceFile文件中。 1)我们想分别读取这些文件(放在不同的文件夹中)然后计算与矩阵F的乘积,这就需要使用MultipleInputs类,那么就需要修改main( 阅读全文
posted @ 2016-03-09 14:24 lz3018 阅读(1156) 评论(0) 推荐(0) 编辑
摘要: 虽然是在IDEA中完成了使用分布式缓存的方法进行矩阵乘积,不过当将源码编译,打成jar包,上传到集群上运行的时候却一直报“ no job jar file set”,"ClassNotFound",其实就是找不到jar包,原因应该是与昨天更改了系统环境有关(因为使用hadoop自带的WordCoun 阅读全文
posted @ 2016-03-08 17:57 lz3018 阅读(436) 评论(0) 推荐(0) 编辑
摘要: 1)“no job jar file set”原因 又是被折腾了一下午呀~~,“no job jar file set”就是找不到作业jar包的意思,然后就是提示找不到自定义的MyMapper类,一般原因是没有设置jar包的类,也就是在配置作业的时候,没有如下这行代码: but,最悲催的就是,我真的 阅读全文
posted @ 2016-03-08 17:44 lz3018 阅读(701) 评论(0) 推荐(0) 编辑
摘要: 使用分布式缓存有两点需要注意,这是今天折腾了一天的体会。 1)利用DistributedCache类添加缓存文件的语句要紧紧跟在Configuration实例之后 原先添加在第9行,运行一直报“空引用”的错,将 DistributedCache.addCacheFile(new URI(cacheP 阅读全文
posted @ 2016-03-07 17:27 lz3018 阅读(387) 评论(0) 推荐(0) 编辑
摘要: 之前博客里介绍了如何自定义DoubleArrayWritable,并将该类型的value写入SequenceFile文件中,为了能够使用命令查看这个文件中的内容(果然坑都是一步一步给自己挖的)参考了网友博客的内容,将DoubleArrayWritable类型打成Jar包,然后将这个Jar包的路径添加 阅读全文
posted @ 2016-03-07 17:17 lz3018 阅读(5043) 评论(0) 推荐(0) 编辑
摘要: 深刻的体会就是,“java.lang.NullPointer.Exception”就是空指针异常可能是由于数组部分元素未被初始化引起的。 1)使用jmatio将mat数据转化为SequenceFile形式的数据,代码如下: 1 /** 2 * Created with IntelliJ IDEA. 阅读全文
posted @ 2016-03-06 12:43 lz3018 阅读(997) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 9 ··· 19 下一页