liboss

            夫为道者,譬如一人与万人战,挂铠出门,意或怯弱,或半路而退,或格斗而死,或得胜而还。沙门学道,应当坚持其心,精进勇锐,不畏前境,破灭众魔,而得道果!

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: :: 管理 ::

2014年1月3日

摘要: 一、获取hive 0.11文件 1、直接在apache网站下载release版 2、自己下载源码编译。方法: git clone https://github.com/amplab/hive.git -b shark-0.11 git_hive-0.11_shark cd git_hive-0.11_shark ant package 因为我是为了后面和shark一起用,apac... 阅读全文
posted @ 2014-01-03 17:28 lam99v 阅读(1019) 评论(0) 推荐(0) 编辑

摘要: 错误信息: scala> val file = sc.textFile("hdfs://kit-b5:9000/input/README.txt") 13/10/29 16:59:45 DEBUG MutableMetricsFactory: field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.... 阅读全文
posted @ 2014-01-03 14:40 lam99v 阅读(1309) 评论(0) 推荐(0) 编辑

摘要: 1、profile export SCALA_HOME=/home/hadoop/scala-2.9.3SPARK_080=/home/hadoop/spark-0.8.0export SPARK_HOME=$SPARK_080export SPARK_EXAMPLES_JAR=$SPARK_HOME/examples/target/spark-examples_2.9.3-0.8.0-inc... 阅读全文
posted @ 2014-01-03 13:02 lam99v 阅读(453) 评论(0) 推荐(0) 编辑

摘要: package kit.weka; import weka.classifiers.Evaluation; import weka.classifiers.functions.LinearRegression; import weka.core.Instance; import weka.core.Instances; import w... 阅读全文
posted @ 2014-01-03 10:51 lam99v 阅读(784) 评论(0) 推荐(0) 编辑

摘要: package kit.weka; /** * desc:试试Weka的决策树类 * J48Test * */ import java.io.File; import java.io.IOException; import weka.classifiers.Classifier; import weka.classifiers.trees.J... 阅读全文
posted @ 2014-01-03 10:25 lam99v 阅读(1291) 评论(1) 推荐(0) 编辑

摘要: Hadoop-cdh4下载地址: http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDHTarballs/3.25.2013/CDH4-Downloadable-Tarballs/CDH4-Downloadable-Tarballs.html 一、建立linux用户 添加组:groupadd hadoopgr... 阅读全文
posted @ 2014-01-03 10:10 lam99v 阅读(573) 评论(0) 推荐(0) 编辑

摘要: package kit.weka; import java.io.File;import weka.classifiers.CheckClassifier;import weka.classifiers.Classifier;import weka.classifiers.Evaluation;import weka.classifiers.evaluation.*;import weka.cor... 阅读全文
posted @ 2014-01-03 09:58 lam99v 阅读(634) 评论(0) 推荐(0) 编辑

摘要: 一、添加用户(各机器均一致) 添加组: sudo addgroup hadoop 添加用户并到组:sudo adduser -ingroup hadoop hadoop 二、ssh无验证登陆 1、用hadoop登陆,执行: ssh-keygen -t rsa -P "" cat .ssh/id_rsa.pub >> .ssh/aut... 阅读全文
posted @ 2014-01-03 09:54 lam99v 阅读(201) 评论(0) 推荐(0) 编辑