毛小娃

摘要： 偶然在微软Research中搜论文时搜到了神牛Jim Gary的paper，看着照片有点眼熟，貌似在买过的哪本书中见过。于是就饶有兴致地看着Jim的生平介绍，结果… “Dr. Gray joinedMicrosoft in 1995 as a Technical Fellow, researche... 阅读全文

摘要： GraphX算法模型：PageRank 一：算法介绍 PageRank是Google专有的算法，用于衡量特定网页相对于搜索引擎索引中的其他网页而言的重要程度。 一个页面的“得票数”由所有链向它的页面的重要性来决定，到一个页面的超链接相当于对该页投一票。一个页面... 阅读全文

摘要： 前言：作为一个程序员，总是能不时地听到各种新技术名词，大数据、云计算、实时处理、流式处理、内存计算… 但当我们听到这些时髦的名词时他们到底是在说什么？偶然搜到一个不错的帖子，就总结一下实时处理和流式处理的区别吧。正文：要说实时处理就得先提一下实时系统(Real-timeSystem)。所谓实时系统... 阅读全文

摘要： 最近看到一篇很好资料，里面三言两语配上几个图就把列式存储(Column-based Storage)讲明白了，牛啊！最喜欢的就是这种浅显易懂就把背景知识讲得明明白白，而不是长篇大论的讲概念。1 为什么要按列存储列式存储(Columnar or column-based)是相对于传统关系型数据库的行... 阅读全文

摘要： Storm 0.9.2安装指南0 Storm0.9的亮点引用网上的描述：“Storm 0.9.0.1版本的第一亮点是引入了netty transport。Storm网络传输机制实现可插拔形式，当前包含两种方式：原来的0mq传输，以及新的netty实现；在早期版本中（0.9.x之前的版本），Stor... 阅读全文

摘要： 本文由 伯乐在线 - 青劲草 翻译自 www.quora.com。未经许可，禁止转载！欢迎加入：翻译小组，通过 翻译频道 贡献一份力量。【伯乐在线导读】：本文源自 Quora 问答贴《为何没有更多人从事程序员的工作？》。问题描述：如今的经济状况太槽糕了，很多人都在找工作。与此同时，许多科技公司非常... 阅读全文

摘要： Maven是基于项目对象模型(POM)，可以通过一小段描述信息来管理项目的构建，报告和文档的软件项目管理工具。Maven 除了以程序构建能力为特色之外，还提供高级项目管理工具。由于 Maven 的缺省构建规则有较高的可重用性，所以常常用两三行 Maven 构建脚本就可以构建简单的项目。由于 Mav... 阅读全文

摘要： Spark Standalone Spark Standalone模式中，资源调度是Spark框架自己实现的，其节点类型分为Master节点和Worker节点，其中Driver运行在Master节点中，并且有常驻内存的Master进程守护，Worker节点上常驻Worker守... 阅读全文

摘要： Spark Shuffle 1. Shuffle相关 当Map的输出结果要被Reduce使用时，输出结果需要按key哈希，并且分发到每一个Reducer上去，这个过程就是shuffle。由于shuffle涉及到了磁盘的读写和网络的传输，因此shuffle性能的高低直接影响到了整个程序的运... 阅读全文

摘要： Spark SQL运行机制 Spark SQL 对 SQL 语句的处理和关系型数据库对 SQL 语句的处理采用了类似的方法,首先会将 SQL 语句进行解析(Parse),然后形成一个 Tree,在后续的如绑定、优化等处理过程都是对 Tree 的操作,而操作的方法是采用 Rule,通过模式匹配,对... 阅读全文