摘要：
一.hdfs读写流程 读: 步骤一. HDFS的client客户端调用分布式文件系统对象的open()方法,然后通过RPC(远程过程调用)方式调用NameNode的open(),本质就是获取DataNode的block locations信息(与客户端远近做了排序)，并返回到客户端。 步骤二.HDF 阅读全文
摘要：
一、Hadoop是什么 1.1 Hadoop架构 HDFS (Hadoop Distributed File System)；Hadoop由三个模块组成：分布式存储HDFS、分布式计算MapReduce、资源调度引擎Yarn 1.2 分布式是什么 分布式：利用一批通过网络连接的、廉价普通的机器，完成 阅读全文
摘要：
报错：启动hadoop报does not contain a valid host:port authority:node2_1:9000 原因：主机的hostname不合法，修改为不包含着‘.’ '/' '_'等非法字符。 阅读全文
摘要：
创建文件夹/文件命令以及清除模式 mkdir +文件夹名字 touch +文件名字 rm -fr 删除文件，文件夹 -f强制删除 -r是递归 查询linux下所有启动的线程： ps -ef|grep java Hadoop下日志文件logs内容，（位于/opt/bigdata/hadoop-3.2. 阅读全文
摘要：
which命令 1) 作用：搜索某个系统命令的位置。 2) 案例：查询vi命令路径：which vi cp命令 1)作用：用于复制文件或目录； 2）-a：此选项通常使用在复制目录时使用，它保留链接/文件属性，并且复制目录下的所有内容。其作用等于dpR参数组合。 3）-d：复制时保留链接。这里所说的链 阅读全文
摘要：
touch命令 1) 作用：用于修改文件或目录的时间属性，包括存取时间和更改时间。若文件不存在，系统会建立一个新的文件。 2) -a：改变档案的读取时间记录； 3) -m：改变档案的修改时间记录； 4）-c：假如目的档案不存在，不会建立新的档案。与--no-create的效果一样； 5）-f：不使用 阅读全文
摘要：
Mv命令 1）作用：用来为文件或目录改名/或将文件或目录一如其他位置 2）-i：若指定目录已有同名文件，则先询问是否覆盖旧文件； 3）-f：在mv操作要覆盖某已有的目标文件时，不给任何指示； 4）案例：将文件aaa更名为bbb mv aaa bbb 将/usr/student下的所有文件和目录移动到 阅读全文
摘要：
rm命令 1) 作用：用于删除一个文件或者目录； 2) -i：删除前逐一询问确认； 3) -f：即使原档案属性设为只读，亦直接删除，无需逐一确认； 4）-r：将目录及以下之档案亦逐一删除； 5）案例：删除test.txt文件：rm test.txt；rm -rf bbb递归删除文件夹bbb下所有文件 阅读全文
摘要：
More命令 1）作用：命令类似cat，不过会以一页一页的形式显示，更方便使用者逐页阅读。 2）-num：一次显示的行数 3）-d：提示使用者，在画面下方显示【Press space to continue，’q’to quit】,如果使用者按错键，则会显示【Press ‘h’for instruc 阅读全文
摘要：
Less命令 1）作用：less与more类似，但使用less可以随意浏览文件，而more仅能向前移动，却不能向后移动，而且less在查看之前不会加载整个文件。 2）ctrl+F 向前移动一屏； 3）ctrl+B 向后移动一屏； 4）ctrl+D 向前移动半屏； 5）ctrl+U 向后移动半屏 阅读全文
摘要：
Find命令 1）作用：用来在指定目录下查找文件。 2）案例：将当前目录及其子目录下所有延申档名是c的文件列出来。 Find -name “*.txt” 其中：*表示通配任意个字符；？表示通配单个字符。 阅读全文
摘要：
Chown命令 1） 作用：将指定文件的拥有者改为指定的用户或组。 2） -c：显示更改的部分的信息。 3）-f：忽略错误信息。 4）-h：修复符号链接。 5）-v：显示详细的处理信息。 6）-R：处理指定目录以及其子目录下的所有文件。 阅读全文
摘要：
Chmod命令 1）作用：linux和unix的文件调用权限分为三级：文件拥有者/群组/其他。利用chmod可以控制文件如何被他人所调用。（主要就是修改文件夹，文件的权限） 2）U表示该文件的拥有者，g表示与该文件的拥有者属于同一个群体者，o表示其他以外的人，a表示这三者皆是。 3）+表示增加权限， 阅读全文
摘要：
Wc命令（word count） 1)作用：用于计算字数； 2）-c或--bytes或--chars只显示Bytes数； 3）-l和—line显示行号； 4）-w或words只显示字数； 5）--help在线帮助； 6）--version显示版本信息； 7) 示例：wc words。说明：行数 单词 阅读全文
摘要：
Cat命令 作用：cat命令用于连接文件并打印，查看文件内容； -n或--number:由1开始对所有输出的行数编号； -b或--number-nonblank:和-n相似，只不过对于空白行不做编号； -s或--squeeze-blank:当遇到有连续两行以上的空白行，就代换为一行的空白行； -v或 阅读全文
摘要：
1.Vi和vim三种模式 (1)命令模式：移动光标 (2)插入模式：编辑文档 (3)末行模式：保存退出 不同模式操作示意图： 其中wq是保存退出，wq!强制保存退出；q不保存退出；q!强制不保存退出。 q使用场景：当编辑一个文档后，再次进入该文档中，而此次只是查看文档的内容，并不做任何编辑操作，然后 阅读全文
摘要：
Linux文件系统具体目录 (1)/ Linux文件系统的入口，也是处于最高一级的目录 (2)/bin 系统所需要的那些命令处于此目录，比如Is，cp，mkdir等命令；功能和/usr/bin类似，这个目录中的文件都是可以执行的，普通用户都可以使用的命令，作为基础系统所需要的最基础的命令就是放在这里 阅读全文
摘要：
linux快捷键说明 (1)命令或目录补齐：Tab (2)遍历历史记录：history 上移：ctrl+p，下移：ctrl+n (3)光标移动 左移：ctrl+b；右移：ctrl+f；移到首部：ctrl+a；移动到尾部：ctrl+e 阅读全文
摘要：
Tar解压缩 作用：将解压缩后缀名为tar的压缩包 -f<备份文件>或—file=<备份文件>指定备份文件 -v或-verbose显示指令执行过程 -x或-extract或-get从备份文件中还原文件 -z或-gzip或-ungzip通过gzip指令处理本分文件 -C<目的目录>或-director 阅读全文
摘要：
CentOS7如何关闭防火墙 查看防火墙状态 使用命令：systemctl status firewalld.service 关闭运行的防火墙 使用命令：systemctl stop firewalld.service 禁止防火墙服务器 输入命令：systemctl disable firewall 阅读全文