(转)对mapreduce代码进行单元测试

摘要: (转)对mapreduce代码进行单元测试http://abloz.comhadoop自带一个wordcount的示例代码,用于计算单词个数。我将其单独移出来,测试成功。源码如下:package org.apache.hadoop.examples;import java.io.IOExceptio... 阅读全文
posted @ 2014-09-02 16:35 Ryan_Y 阅读(310) 评论(0) 推荐(0) 编辑

hadoop 读写 elasticsearch 初探

摘要: 1、参考文档:http://www.elasticsearch.org/guide/en/elasticsearch/hadoop/current/configuration.htmlhttp://www.elasticsearch.org/guide/en/elasticsearch/hadoop... 阅读全文
posted @ 2014-08-23 09:36 Ryan_Y 阅读(10075) 评论(0) 推荐(1) 编辑

【转载】hadoop 一个Job多个MAP与REDUCE的执行

摘要: 转载自:http://blog.csdn.net/chaoping315/article/details/6221440在hadoop 中一个Job中可以按顺序运行多个mapper对数据进行前期的处理,再进行reduce,经reduce后的结果可经个经多个按顺序执行的mapper进行后期的处理,这样... 阅读全文
posted @ 2014-04-04 17:58 Ryan_Y 阅读(366) 评论(0) 推荐(0) 编辑

mac下快速安装hadoop的好方法

摘要: 相信使用ma时间长一点的朋友都一定听说过homebrew。homebrew 是mac下3个主流的package management tool之一。没有安装的朋友可以直接在终端中运行如下指令完成brew的安装ruby -e "$(curl -fsSL https://raw.github.com/Homebrew/homebrew/go/install)"这样在mac下,再安装hadoop也就非常简单啦。首先运行brew info hadoop得到当前版本信息hadoop: stable 2.3.0http://hadoop.apache.org/Not installed 阅读全文
posted @ 2014-04-02 13:08 Ryan_Y 阅读(1172) 评论(0) 推荐(0) 编辑

hadoop2.2.0 版本编译64位native库的问题

摘要: 参考文章:http://www.micmiu.com/bigdata/hadoop/hadoop-build-native-library-on-mac-os-x/http://blog.sina.com.cn/s/blog_6baac06c0101gvxr.html头疼的问题release-2.2... 阅读全文
posted @ 2014-04-01 19:52 Ryan_Y 阅读(549) 评论(0) 推荐(0) 编辑

$GOPATH not set 问题解决方案

摘要: 环境配置:RyanMacbookPro:work$ env | grep GOGOBIN=/usr/local/go/binGOARCH=amd64GOROOT=/usr/local/goGOOS=darwinGOPATH=/Users/ryan/go执行安装sudo go get github.com/nsf/gocode提示:cannot download, $GOPATH not set. For more details see: go help gopath解决方案:sudo env GOPATH=/Users/ryan/go go get github.com/nsf/gocode 阅读全文
posted @ 2014-03-19 21:08 Ryan_Y 阅读(22858) 评论(0) 推荐(0) 编辑

cocos2d-x CCNotificationCenter一个优化想法

摘要: cocos2d-x CCNotificationCenter一个优化想法 阅读全文
posted @ 2013-12-14 23:07 Ryan_Y 阅读(560) 评论(0) 推荐(0) 编辑

cocos2d-x CCDictionary 中CCDictElement的key长度优化

摘要: cocos2d-x CCDictionary 中CCDictElement的key长度优化。 阅读全文
posted @ 2013-12-14 15:44 Ryan_Y 阅读(789) 评论(0) 推荐(0) 编辑

【备忘】尾调用(尾递归)--来自维基百科

摘要: 尾调用(尾递归)--来自维基百科 阅读全文
posted @ 2013-12-03 09:54 Ryan_Y 阅读(516) 评论(0) 推荐(0) 编辑

[转] 关于Mongodb的全面总结,学习mongodb的人,可以从这里开始

摘要: [转] 关于Mongodb的全面总结,学习mongodb的人,可以从这里开始. 阅读全文
posted @ 2013-11-24 14:45 Ryan_Y 阅读(1950) 评论(0) 推荐(1) 编辑