Mengdong的技术博客

摘要： 现在MapReduce/Hadoop以及相关的数据处理技术非常热，因此我想在这里将MapReduce的优势汇总一下，将MapReduce与传统基于HPC集群的并行计算模型做一个简要比较，也算是对前一阵子所学的MapReduce知识做一个总结和梳理。引言随着互联网数据量的不断增长，对处理数据能力的要求也变得越来越高。当计算量超出单机的处理能力极限时，采取并行计算是一种自然而然的解决之道。在MapReduce出现之前，已经有像MPI这样非常成熟的并行计算框架了，那么为什么Google还需要MapReduce，MapReduce相较于传统的并行计算框架有什么优势，这是本文关注的问题。文章之初先给出一 阅读全文

摘要： 昨天在StackExchange上看到了一个很有趣的帖子：《为什么人们要使用编程技术书籍？（Why do people use programming books?）》。今天发布出来与大家分享，大家有什么观点尽情回复，我期待与大家分享心得，开展讨论。在我写这篇文章的时候，这个帖子在StackExchange站群的热门问题中排名第二。楼主的问题是这么说的：我发现当有人问如何编程的时候，别人通常会提供给他/她一个书单。但我不认为所有人都是通过看书学会编程的。有的人只是遇到问题，学习编程，然后将编程作为工具解决问题。拿我来说，我当时编程是因为想给自己玩的游戏搞一个服务器。那时我google一下找到了 阅读全文

摘要： 本读书笔记的目录地址：http://www.cnblogs.com/mdyang/archive/2011/06/29/data-intensive-text-prcessing-with-mapreduce-contents.html因为最近工作比较忙，没有时间继续写这本书的读书笔记，所以本系列将会暂停一段时间。3.5 关系连接相关wiki:Join: http://en.wikipedia.org/wiki/Join_(SQL)Nested Loop Join: http://en.wikipedia.org/wiki/Nested_loop_join（译者：整个3.5都更像是数据库教程， 阅读全文

摘要： 本文内容基于之前的一篇博文《Data-intensive Text Processing with MapReduce》读书笔记第3章：MapReduce算法设计(2)：pair模式与stripe模式。这一节的末尾提出一个问题：stripe模式因为需要在mapper内维护一个关联数组，因此无法处理语料的词汇表非常大的情况。随后文章给出了一个解决思路：划分词汇表。但没有给出具体解决方法。本文针对这个思路，谈一谈如何通过划分词汇表的方式解决stripe模式存在的内存瓶颈。本文仅从抽象算法的层面对这个思路进行细化，不涉及具体的程序设计。因为条件所限，我目前尚无hadoop编程经验。空谈难免会有错误之 阅读全文

摘要： 今天接到0571-的来电，简单寒暄过后对方表示是支付宝HR.大概三个月前的这个时候我正在找实习，当时我曾经投过支付宝，并且拿到了实习offer. 但我把他们拒掉了，原因是我对提供的职位没兴趣（J2EE）。前两秒纳闷我跟他们还有什么好说的，随后对方表示想深入了解一下没能实习的原因，于是我重申了我的理由：1. 职位不匹配 2. 招聘程序太拖沓（拿到offer时已经定了去EMC实习）我以支付宝应聘为例子，对自己找实习的经历进行了简单梳理。不过，这一篇不讨论笔试、面试题目。只是对一些边边角角的东西闲聊一下。关于职位其实我完全不知道这次是怎么选择职位的，当时支付宝来学院招聘，我登记了一些个人信息、提交简 阅读全文