摘要: 在上一篇使用hadoop mapreduce分析mongodb数据:(1)中,介绍了如何使用Hadoop MapReduce连接MongoDB数据库以及如何处理数据库,本文结合一个案例来进一步说明Hadoop MapReduce处理MongoDB的细节 原始数据 > db.stackin.find( 阅读全文
posted @ 2016-06-19 11:04 GoingMyWay 阅读(1159) 评论(1) 推荐(1) 编辑
摘要: 最近考虑使用hadoop mapreduce来分析mongodb上的数据,从网上找了一些demo,东拼西凑,终于运行了一个demo,下面把过程展示给大家 环境 ubuntu 14.04 64bit hadoop 2.6.4 mongodb 2.4.9 Java 1.8 mongo-hadoop-co 阅读全文
posted @ 2016-06-09 12:03 GoingMyWay 阅读(2386) 评论(0) 推荐(1) 编辑
摘要: 参考文档:Linux下MPI并行编程环境搭建配置 MPI是一种并行计算架构,MPICH是MPI的一种实现,本集群使用虚拟机安装,操作系统是ubuntu14.04,使用三台机器,用户名都是ubuntu,机器名分别是ub0, ub1, ub2 安装后加入环境变量到/etc/profile文件,并执行 s 阅读全文
posted @ 2016-03-19 19:07 GoingMyWay 阅读(3780) 评论(1) 推荐(0) 编辑
摘要: 使用了一年多的VIM,文本替换还是有点模糊不清.提升VIM的工作效率,从攻克复杂难题开始 1. 替换当前行中的内容: :s/from/to/ (s即substitude) :s/from/to/ : 将当前行中的第一个from,替换成to。如果当前行含有多个 from,则只会替换其中的第一个。 :s 阅读全文
posted @ 2016-02-02 10:31 GoingMyWay 阅读(221) 评论(0) 推荐(0) 编辑
摘要: 最近在用python的cPickle和Pickle模块来序列化,如果对序列化不了解,可以点击这里,序列化的时候遇到一个问题TypeError: can't pickle instancemethod objects在谷歌百度上查了很多,但是终究没有答案,我突然想,一般如果类比较简单,不能是不被pic... 阅读全文
posted @ 2015-11-24 14:57 GoingMyWay 阅读(12803) 评论(1) 推荐(0) 编辑
摘要: 最近打算开始每隔一天练一道leetcode(虽然对我来说有点难,但是希望能坚持下去^_^),自己的编程语言基础还不扎实,遇到磕磕碰碰,几天做了一道leetcode比较简单的题目,把我的解题思想分享给大家,顺便附上代码。问题如下:问题链接:https://leetcode.com/problems/z... 阅读全文
posted @ 2015-05-24 11:55 GoingMyWay 阅读(594) 评论(2) 推荐(0) 编辑
摘要: llvm是一个很强大的编译器,具体的内容请读者自行百度一下哈安装步骤:1.安装llvm2.安装python的llvmlite包一.安装llvm(版本是3.5) 1.需要的文件 LLVM source code Clang source code Clang Tools Extra sour... 阅读全文
posted @ 2015-05-10 22:02 GoingMyWay 阅读(13076) 评论(0) 推荐(1) 编辑
摘要: 最近想学习Python,想学习机器学习,想学习网站开发,想学习linux开发。结果,想学习很多,但是一个也没学好,其实,把目前喜欢做的东西做到极致,先养活自己再说,把手头的C++学好,学会了一通百通。我还是很喜欢水滴石穿这个成语,一点一袋,千里之行,始于足下。把喜欢做的东西做到极致,滴水穿石!!! 阅读全文
posted @ 2015-03-06 22:59 GoingMyWay 阅读(216) 评论(0) 推荐(0) 编辑