2016年3月26日
idea和eclipse中构建spark
摘要： https://cwiki.apache.org/confluence/display/SPARK/Useful+Developer+Tools#UsefulDeveloperTools-IDESetup 阅读全文
posted @ 2016-03-26 09:33 高手教程 阅读(168) 评论(0) 推荐(0) 编辑
解决spark运行中failed to locate the winutils binary in the hadoop binary path的问题
摘要： 1.下载hadoop-common-2.2.0-bin并解压到某个目录 https://github.com/srccodes/hadoop-common-2.2.0-bin 2.设置hadoop.home.dir 阅读全文
posted @ 2016-03-26 09:06 高手教程 阅读(6261) 评论(0) 推荐(0) 编辑
2016年3月25日
idea中使用scala运行spark出现Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class
摘要： idea中使用scala运行spark出现： 查看build.sbt: 你需要确保 spark所使用的scala版本与你系统scala的版本一致 你也可以这样： 阅读全文
posted @ 2016-03-25 22:17 高手教程 阅读(22096) 评论(0) 推荐(0) 编辑
idea中使用sbt构建scala项目及依赖
摘要： 1.安装scala插件 http://www.cnblogs.com/yrqiang/p/5310700.html 2. 详细了解sbt: http://www.scala-sbt.org/0.13/docs/zh-cn/Setup.html 阅读全文
posted @ 2016-03-25 22:12 高手教程 阅读(1754) 评论(0) 推荐(0) 编辑
idea在线注册码
摘要： http://idea.lanyus.com/ 阅读全文
posted @ 2016-03-25 17:21 高手教程 阅读(740) 评论(0) 推荐(0) 编辑
Spark学习资料
摘要： 1. 倾情大奉送--Spark入门实战系列 2. Spark GraphX: http://blog.csdn.net/bluejoe2000/article/details/44308167 阅读全文
posted @ 2016-03-25 12:17 高手教程 阅读(150) 评论(0) 推荐(0) 编辑
2016年3月24日
Mongodb备份（mongodump）和恢复（mongorestore）
摘要： 1.备份： 2. 恢复： 阅读全文
posted @ 2016-03-24 20:31 高手教程 阅读(150) 评论(0) 推荐(0) 编辑
【算法】求多个数组中的交集（Java语言实现）
摘要： 简介： 最近在工作中遇到一个问题，需要离线比较两张Mongodb表的差异：大小差异，相同的个数。 所以，我将导出的bson文件转成了json文件（2G以上），一条记录正好是一行。 问题： 因此我将以上问题转换成了比较两个（本例考虑多个）超大数组的交集！所以要求时间复杂度、空间复杂度应该尽可能的低！ 阅读全文
posted @ 2016-03-24 19:00 高手教程 阅读(2612) 评论(0) 推荐(0) 编辑
scala学习资料
摘要： 1. scala-sbt 构建工具： http://www.scala-sbt.org/0.13/docs/zh-cn/Directories.html 2. 资料： http://www.ibm.com/developerworks/cn/java/j-lo-funinscala2/ https: 阅读全文
posted @ 2016-03-24 14:50 高手教程 阅读(256) 评论(0) 推荐(0) 编辑
maven安装scala插件
摘要： 默认情况maven不支持scala 所以需要安装maven-scala插件 更新地址：http://alchim31.free.fr/m2e-scala/update-site/ (m2eclipse-scala http://scala-ide.org/docs/tutorials/m2eclip 阅读全文
posted @ 2016-03-24 09:35 高手教程 阅读(1157) 评论(0) 推荐(0) 编辑