09 2015 档案

mapreduce引用第三方jar
摘要：要想让mapreduce程序引用第三方jar文件, 可以采用如下方式:通过命令行参数传递jar文件, 如-libjars等;直接在conf中设置, 如conf.set(“tmpjars”,*.jar), jar文件用逗号隔开;利用分布式缓存, 如DistributedCache.addArchive... 阅读全文
posted @ 2015-09-25 10:05 z.arbitrary 阅读(768) 评论(0) 推荐(0)
Spark安装和配置
摘要：hadoop2的安装教程Spark可以直接安装在hadoop2上面，主要是安装在hadoop2的yarn框架上面安装Spark之前需要在每台机器上安装Scala,根据你下载的Spark版本，选择对应的Scala和jdkScala的安装就是解压缩，然后配置环境变量，将Scala的执行命令配置到Path... 阅读全文
posted @ 2015-09-20 16:58 z.arbitrary 阅读(337) 评论(0) 推荐(0)
hadoop2.0安装和配置
摘要：hadoop2与hadoop1的配置有些许不同，最主要的是hadoop1里的master变成了yarn这篇文直接从hadoop的配置开始，因为系统环境和jdk和hadoop1都是一样的。hadoop1的配置链接，从第六步开始六、设置hadoop2参数进入 usr/local/hadoop/etc/h... 阅读全文
posted @ 2015-09-20 16:34 z.arbitrary 阅读(324) 评论(0) 推荐(0)
Scala:(2)控制结构
摘要：（1）if elseval s=if(x>0) 1 else -1(2)循环while(n>0){r=r*nn-=1}///for 循环for(i =0) x else -x//大括号的函数定义def abs(x :Double)={ if (x>=0) x else -x}//函数参数def de... 阅读全文
posted @ 2015-09-18 11:37 z.arbitrary 阅读(234) 评论(0) 推荐(0)
Scala:(1)变量
摘要：Scala中变量需要注意的地方：（1）val,varval 定义的声明是一个常量，不能改变内容。var定义的声明是一个变量，可以改变其内容在Scala中，尽可能使用valval answer=8*5//不可变常量var answer=0//可变变量val greeting: String = nul... 阅读全文
posted @ 2015-09-17 17:29 z.arbitrary 阅读(249) 评论(0) 推荐(0)
crontab(linux下定时执行任务命令)
摘要：在linux在可以通过在脚本里（列如sh）写如日常需要进行的操作，然后通过crontab定时运行脚本。Linux下的任务调度分为两类，系统任务调度和用户任务调度。系统任务调度：系统周期性所要执行的工作，比如写缓存数据到硬盘、日志清理等。在/etc目录下有一个crontab文件，这个就是系统任务调度的... 阅读全文
posted @ 2015-09-15 13:10 z.arbitrary 阅读(226) 评论(0) 推荐(0)