章三丰 - 博客园

2017年9月26日

摘要：一、Mapreduce1 图1 MR1工作原理图工作流程主要分为以下6个步骤： 1 作业的提交 1)客户端向jobtracker请求一个新的作业ID(通过JobTracker的getNewJobId()方法获取，见第2步 2)计算作业的输入分片，将运行作业所需要的资源(包括jar文件、配置文件和计算得到的输入分片)复制到一个以ID命名的jobtracker的文件系统中(HDFS)，见第3步 ... 阅读全文

posted @ 2017-09-26 02:46 章三丰阅读(1818) 评论(0) 推荐(0) 编辑

hadoop生态系统主要架构图汇总

摘要： 1 hadoop1.0时期架构 2 hadoop2.0时期架构 3 hdfs架构【Active Namenode】：主 Master（只有一个），管理 HDFS 的名称空间，管理数据块映射信息；配置副本策略；处理客户端读写请求【Secondary NameNode】：NameNode 的热备；定期合并 fsimage 和 fsedits，推送给 NameNode；当 Active Nam... 阅读全文

posted @ 2017-09-26 02:36 章三丰阅读(35846) 评论(0) 推荐(1) 编辑

2017年9月19日

Sql语句之并(UNION)、交(INTERSECT)、差(minus)、除去(EXCEPT)

摘要： UNION 查询选修了180101号或180102号课程或二者都选修了的学生学号、课程号和成绩。 (SELECT 学号, 课程号, 成绩 FROM 学习 WHERE 课程号='180101') UNION (SELECT 学号, 课程号, 成绩 FROM 学习 WHERE 课程号='180102') 与SELECT子句不同，UNION运算自动去除重复。因此，在本例中，若只输出学... 阅读全文

posted @ 2017-09-19 16:20 章三丰阅读(803) 评论(0) 推荐(0) 编辑

2017年9月11日

Linux命令之top、ulimit、free

摘要： 1、【ulimit命令】 ulimit命令用来限制系统用户对shell资源的访问。假设有这样一种情况，当一台 Linux 主机上同时登陆了 10 个人，在系统资源无限制的情况下，这 10 个用户同时打开了 500 个文档，而假设每个文档的大小有 10M，这时系统的内存资源就会受到巨大的挑战。而实阅读全文

posted @ 2017-09-11 17:25 章三丰阅读(348) 评论(0) 推荐(0) 编辑

2017年9月7日

Linux如何修改主机名

摘要： Linux通常在安装的时候，用户需要设置主机名，但是在日常使用中，方便分组或记忆等原因，可能会需要修改主机名，修改主机名有2种，临时修改或者永久修改，下面分别进行介绍。一、临时修改主机名临时修改只在本次开机有效，下次重启之后会回到原来的主机名在终端输入：hostname xxxxx ，其中xxxxx就是需要更改的主机名回车之后，主机名其实已经变化，... 阅读全文

posted @ 2017-09-07 02:10 章三丰阅读(13496) 评论(0) 推荐(1) 编辑

Linux命令之chmod、chown

摘要：一、chmod命令 chmod命令用于改变linux系统文件或目录的访问权限。用它控制文件或目录的访问权限。该命令有两种用法。一种是包含字母和操作符表达式的文字设定法；另一种是包含数字的数字设定法。 Linux系统中的每个文件和目录都有访问许可权限，用它来确定谁可以通过何种方式对文件和目录进行访问和操作。文件或目录的访问权限分为只读，只写和可执行三种。以文件为例，只读权限表示只允许读其内容，而... 阅读全文

posted @ 2017-09-07 01:51 章三丰阅读(452) 评论(0) 推荐(0) 编辑

Linux命令之useradd和userdel（添加、删除用户）

摘要：一、【useradd】：添加用户命令 1.作用 useradd或adduser命令用来建立用户帐号和创建用户的起始目录，使用权限是超级用户。 2.格式 useradd [-d home] [-s shell] [-c comment] [-m [-k template]] [-f inactive] [-e expire ] [-p passwd] [-r] name 3.主要参数 ... 阅读全文

posted @ 2017-09-07 01:29 章三丰阅读(9062) 评论(0) 推荐(0) 编辑

SSH localhost免密不成功 + 集群状态显示Configured Capacity: 0 (0 KB)

摘要：前一天运行hadoop一切安好，今天重新运行出现BUG。下面对遇到的bug、产生原因以及解决方法进行一下简单总结记录。【bug1】用ssh localhost免密登录时提示要输入密码。原因分析：之前配置好了ssh免密登录并且ssh localhost以及ssh Slave1、ssh Master 阅读全文

posted @ 2017-09-07 01:08 章三丰阅读(1105) 评论(0) 推荐(0) 编辑

2017年9月1日

Notepad++的列编辑功能

摘要：参考网址：https://www.crifan.com/files/doc/docbook/rec_soft_npp/release/htmls/npp_func_column_mode.html 3.6. Notepad++的列编辑功能 3.6.1. 什么是列编辑模式普通编辑器，编辑文本的时候，选中一部分内容，都是在一行或多行的范围内操作，从左到右的，所以，可以看做是行模式。与... 阅读全文

posted @ 2017-09-01 10:55 章三丰阅读(1308) 评论(0) 推荐(0) 编辑

2017年8月30日

bash的快捷键、特殊参数、历史命令、相关文件

摘要： bash快捷键 Emacs风格 ctrl+p: 方向键上 ↑ ctrl+n: 方向键下 ↓ ctrl+b: 方向键 ← alt+f: 光标右移一个单词 ctrl+f :方向键 → alt+b: 光标左移一个单词 ctrl+a:光标移到行首 ctrl+e:光标移到行尾 ctrl+k:清除光标后至行尾阅读全文

posted @ 2017-08-30 16:28 章三丰阅读(927) 评论(0) 推荐(0) 编辑

章无忌

公告