攻城狮科学家

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2016年1月11日

摘要: Scala CookBook:http://scalacookbook.com/@throws(classOf[java.io.IOException])@throws(classOf[java.net.SocketTimeoutException])def get(url: String, ... 阅读全文
posted @ 2016-01-11 16:46 攻城狮科学家 阅读(563) 评论(0) 推荐(0) 编辑

2016年1月7日

摘要: Sys.setenv(SPARK_HOME="/usr/spark").libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths()))library(SparkR)sc<-sparkR.init(master="sp... 阅读全文
posted @ 2016-01-07 11:21 攻城狮科学家 阅读(801) 评论(0) 推荐(0) 编辑

2016年1月6日

摘要: Cassandra rowkey is Blob type, cannot select by spark.How? 阅读全文
posted @ 2016-01-06 09:30 攻城狮科学家 阅读(164) 评论(0) 推荐(0) 编辑

2015年12月8日

摘要: Cannect to Cassandra:用spark-cassandra-connector, 注意spark,cassandra和connector的版本要配套,Cassandra至少要版本2以上use this blog example:https://www.codementor.io/da... 阅读全文
posted @ 2015-12-08 14:50 攻城狮科学家 阅读(387) 评论(0) 推荐(0) 编辑

2015年12月4日

摘要: http://jingpin.jikexueyuan.com/article/47043.html 新的scala 编译器idea使用 https://www.jetbrains.com/idea/help/creating-and-running-your-scala-application.ht 阅读全文
posted @ 2015-12-04 14:47 攻城狮科学家 阅读(185) 评论(0) 推荐(0) 编辑

2015年12月2日

摘要: http://my.oschina.net/laigous/blog/478438下载的是spark for hadoop 2.6版本安装成功后,master上应有一个Master进程,slave上应有一个Worker进程,如果报错,就在对应的logs里找出错原因。这次slave上总是装不上的原因是... 阅读全文
posted @ 2015-12-02 17:03 攻城狮科学家 阅读(145) 评论(0) 推荐(0) 编辑

2015年11月30日

摘要: 配置好eclipse连接hadoop:参考:http://www.powerxing.com/hadoop-build-project-using-eclipse/ http://blog.csdn.net/dandingyy/article/details/7357619如果hdfs文件目录显... 阅读全文
posted @ 2015-11-30 17:14 攻城狮科学家 阅读(129) 评论(0) 推荐(0) 编辑

2015年11月12日

摘要: Hadoop 2.6.0的安装略复杂,在一台既有Hadoop 1又有Hadoop 2的server上,要设置好环境变量,必要时候echo $HADOOP_HOME一下看运行的是哪个版本。Master: ResourceManager, SecondaryNameNode, NameNode, Job... 阅读全文
posted @ 2015-11-12 17:21 攻城狮科学家 阅读(137) 评论(0) 推荐(0) 编辑

2015年11月2日

摘要: 转载自http://www.woshipm.com/zhichang/180007.html下面列出的网站覆盖了科学,艺术和技术这些话题。他们可以教你一切东西,从学习编程到弹吉他,从做鹰嘴豆沙拉到做一个酷炫的app,大部分网站的内容都是免费的。如果你想,学习在线课程edX——在线学习世界上最顶尖大学... 阅读全文
posted @ 2015-11-02 15:26 攻城狮科学家 阅读(288) 评论(0) 推荐(0) 编辑

2015年10月30日

摘要: 很详尽的笔记http://beader.me/mlnotebook/section3/README.html还有习题codehttp://blog.csdn.net/songzitea/article/details/43922131 阅读全文
posted @ 2015-10-30 09:47 攻城狮科学家 阅读(130) 评论(0) 推荐(0) 编辑