2016年11月11日
Giraph 单机及集群上运行任务命令说明
摘要： Giraph 单机及集群上运行任务命令说明单机运行 Giraph 任务 在单机运行 Giraph 任务之前，确保已经设置了 HADOOP_CONF_DIR 环境变量的值命令行输入 $ export HADOOP_CONF_DIR=$GIRAPH_HOME 设置过环境变量后，就可... 阅读全文
posted @ 2016-11-11 19:06 山海經 阅读(424) 评论(0) 推荐(0) 编辑
scala 学习笔记-持续更新中
摘要： scala 学习笔记-持续更新中 学习列表： scala官方文档scala cheattwitter Scala 课堂有趣的 Scala 语言: 使用递归的方式去思考《scala 编程》 几乎一切乎都是表达式 scala> 1 + 1res0: Int = 2 复合表达... 阅读全文
posted @ 2016-11-11 15:01 山海經 阅读(161) 评论(0) 推荐(0) 编辑
2016年11月10日
运行 Giraph 提示 too many counters
摘要： 运行 Giraph 提示 too many counters在加入 -ca mapreduce.job.counters.limit=1000 后，仍然运行失败16/10/20 08:56:08 INFO job.GiraphJob: Waiting for resources..... 阅读全文
posted @ 2016-11-10 10:06 山海經 阅读(747) 评论(0) 推荐(0) 编辑
2016年11月9日
Linux下远程同步或传输文件
摘要： Linux下远程同步或传输文件1. scp 命令用法传输单个文件本地到远程scp /home/user1/filename user2@hostname:/home/user2远程到本地scp user2@hostname:/home/user2/filename /home/us... 阅读全文
posted @ 2016-11-09 20:21 山海經 阅读(593) 评论(0) 推荐(1) 编辑
2016年8月30日
Maven 手动安装 JAR 包
摘要： Maven 安装 JAR 包的命令是： mvn install:install-file -Dfile=jar包的位置 -DgroupId=指定jar的groupId -DartifactId=指定jar的artifactId -Dversion=指定jar的version -Dpackag... 阅读全文
posted @ 2016-08-30 10:35 山海經 阅读(142) 评论(0) 推荐(0) 编辑
Giraph 运行常见错误
摘要： 1. Could not find or load main class org.apache.giraph.yarn.GiraphApplicationMaster 16/08/30 08:45:13 ERROR yarn.GiraphYarnClient: Giraph: org.apa... 阅读全文
posted @ 2016-08-30 09:13 山海經 阅读(417) 评论(0) 推荐(0) 编辑
2016年8月29日
Giraph 操作参数
摘要： Giraph Options label type default value description giraph.SplitMasterWorker boolean true Separate the workers and the master tasks. T... 阅读全文
posted @ 2016-08-29 18:56 山海經 阅读(237) 评论(0) 推荐(0) 编辑
2016年8月28日
Giraph 源码编译常见错误
摘要： Giraph 源码编译命令： giraph_basedir $ mvn -Phadoop_yarn -Dhadoop.version={指定hadoop版本} -DskipTests clean package or giraph_basedir $ mvn -P... 阅读全文
posted @ 2016-08-28 20:34 山海經 阅读(508) 评论(0) 推荐(0) 编辑