笨小孩

摘要： 转自：http://www.cnblogs.com/hseagle/p/3673132.html一、概要 本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的，另外试图讲清楚运行着的task其输入的数据从哪获取，处理的结果返回到哪里，如何返回。准备spark已经安装完毕sp... 阅读全文

摘要： 转自：http://www.cnblogs.com/hseagle/p/3673123.html在源码阅读时，需要重点把握以下两大主线。静态view即 RDD, transformation and action动态view即life of a job, 每一个job又分为多个stage，每一个st... 阅读全文

摘要： 转自：http://www.cnblogs.com/hseagle/p/3664933.html一、基本概念(Basic Concepts)RDD - resillient distributed dataset 弹性分布式数据集Operation - 作用于RDD的各种操作分为transforma... 阅读全文

摘要： 1 package com.swust.example 2 3 object TraitDemo2 extends App{ 4 5 //抽象类 6 abstract class Writer { 7 def writeMessage(message: St... 阅读全文

摘要： for循环中的 yield 会把当前的元素记下来，保存在集合中，循环结束后将返回该集合。Scala中for循环是有返回值的。如果被循环的是Map，返回的就是Map，被循环的是List，返回的就是List，以此类推。例1：1 scala> for (i for (i for (i val a... 阅读全文

摘要： 转自：http://www.infoq.com/cn/articles/spark-core-rdd/感谢张逸老师的无私分享 RDD，全称为Resilient Distributed Datasets，是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并能控制数据的分区。同时... 阅读全文

摘要： 转自：http://langyu.iteye.com/blog/992916，多谢分享，学习Hadopp性能调优的可以多关注一下Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方，Shuffle的正常意思是洗牌或弄乱，可能大家更熟悉的是Java API里的Collections.s... 阅读全文

摘要： 转自：http://goodcandle.cnblogs.com/archive/2006/03/30/278702.html目的：基本掌握了make的用法，能在Linux系统上编程。环境：Linux系统，或者有一台Linux服务器，通过终端连接。一句话：有Linux编译环境。准备：准备三个文件：f... 阅读全文

摘要： 文件系统的类型 LINUX有四种基本文件系统类型：普通文件、目录文件、连接文件和特殊文件，可用file命令来识别。 普通文件：如文本文件、C语言元代码、SHELL脚本、二进制的可执行文件等，可用cat、less、more、vi、emacs来察看内容，用mv来改名。 目录文件：包括文件名、子目录名及其... 阅读全文

摘要： 转自：http://mp.weixin.qq.com/s?__biz=MjM5OTMxMzA4NQ==&mid=221913387&idx=2&sn=d5d006300722f1045d8a33b2b355d221大家多去逛逛，挺不错的一个学习平台工厂模式1、FACTORY—追MM少不了请吃饭了，麦... 阅读全文