摘要：
程序执行时默认会打开3个流，标准输入、标准输出、标准错误。 Redirection The shell interprets the symbols <,>, and >> as instructions to reroute a command's input or output to or fr 阅读全文
摘要：
首先介绍下Linux系统中"一切都是文件"。 1. Linux系统文件句柄数概念 文件句柄（Windows） 文件描述符（Unix/Linux）：file discriptor，fd。对于内核而言，所有打开的文件都是通过文件描述符引用，文件描述符是一个非负整数，变化范围是0~(OPEN_MAX-1) 阅读全文
摘要：
HDFS命令概述 HDFS命令涉及两类，一类是hadoop命令，一类是hdfs命令，功能也分为两类，第一类是HDFS文件操作命令，第二类是HDFS管理命令。 二者都是shell命令，真正的命令只有hadoop和hdfs，而无所谓的ls/mv/cp/cat/mkdir…dfs/setQuota/fsc 阅读全文
摘要：
主题下载： Color Themes（个人倾向该网站，而不是http://www.riaway.com/） 主题设置： 打开IDEA，按下Ctrl+Alt+S，选择Editor-->Color Scheme-->General，导入上一步下载的主题jar包。 设置效果： 阅读全文
摘要：
拿到一份Hadoop源码之后，经常关注的两件事情就是 1、怎么阅读？涉及IDEA和Eclipse工程搭建。IDEA搭建，选择源码，逐步导入即可；Eclipse可以选择后台生成工程，也可以选择IDE导入。二者工程也可以互相导入\到处。 2、怎么构建？利用maven，生成安装包。 二者均需配置maven 阅读全文
摘要：
STEP 1：maven中央库配置 国内常用的maven库主要是阿里云maven库、华为云maven。 其中阿里云maven库配置如下： 配置文件路径为conf/settings.xml STEP 2：IDEA配置 打开IDEA，按下Ctrl+Alt+S，进入配置选项界面 阅读全文
摘要：
准备工具： maven 3.0.0版本或者更高版本（配置中心库） protocbuff 2.5.0 http://www.zlib.net/ git bash（Windows环境可以用此工具执行编译命令） 下载源码： http://hadoop.apache.org/releases.html ht 阅读全文
摘要：
HDFS架构实现 Hadoop当前稳定版本是Apache Hadoop 2.9.2，最新版本是Apache Hadoop 3.1.1。 http://hadoop.apache.org/docs/ HDFS存储机制 Hadoop 2.x默认的block大小是128MB，Hadoop 1.x默认的bl 阅读全文
摘要：
首先放一张官方图片，大致了解下整个MapReduce的处理过程。 抛出如下疑问： 1、MapReduce的基本原理是什么？即利用什么机制来实现的任务拆分处理？ 2、MapReduce任务执行过程是什么？任务怎么提交？如何运行？哪个组件或者模块可以监控任务的运行状态，比如YARN服务？数据存储（原始数 阅读全文
摘要：
传输文件经常使用ftp和sftp服务器。Windows下有多种可视化工具，使用快捷。Linux经常需要自行搭建这两种服务器，当然搭建熟练的话，会更加快捷。 1、检查Linux系统是否安装了vsftp和sftp服务。 2、修改对应的配置项。 3、重启生效。 ftp/vsftp/sftp/ftps区别。 阅读全文