2019年6月11日
大数据常用端口
摘要： 50070：HDFSwebUI的端口号 8485:journalnode默认的端口号 9000：非高可用访问数rpc端口 8020：高可用访问数据rpc 8088：yarn的webUI的端口号 8080：master的webUI，Tomcat的端口号 7077：spark基于standalone的提 阅读全文
posted @ 2019-06-11 21:50 北漂屌丝 阅读(1183) 评论(0) 推荐(0) 编辑
HDFS 读流程
摘要： 1）客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。 2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。 3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入 阅读全文
posted @ 2019-06-11 21:11 北漂屌丝 阅读(109) 评论(0) 推荐(0) 编辑
HDFS写流程
摘要： 1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 2）NameNode返回是否可以上传。 3）客户端请求第一个 Block上传到哪几个DataNode服务器上。 4）NameNode返回3个Data 阅读全文
posted @ 2019-06-11 20:52 北漂屌丝 阅读(131) 评论(0) 推荐(0) 编辑
2019年6月5日
sort uniq wc
摘要： sort可以对数据进行排序 sort可以对数据进行排序 -f 忽略大小写差异 -b 忽略最前面的空格符部分 -M 以月份的名字来排序 -n 使用“纯数字”进行排序（默认按文字类型排序的） -r 反向排序 -u 相同的数据，仅仅出现一行 -t 分隔符，默认用[Tab]键来分割 -k 以哪个区间（fie 阅读全文
posted @ 2019-06-05 21:59 北漂屌丝 阅读(146) 评论(0) 推荐(0) 编辑
cut grep
摘要： 1、cut命令 （1）作用：提取文件中指定的列 语法格式：cut 选项 文件名 （2）选项： -d 分隔符 按照指定的分割符进行分割 -f 列号 指定提取第几列 -c 字符范围 不依赖分割符来分割，而是通过字符范围进行字段提取 -b 字节数 以字节为单位进行分割。 2、grep命令 （1）作用：用来 阅读全文
posted @ 2019-06-05 21:44 北漂屌丝 阅读(198) 评论(0) 推荐(0) 编辑
管道
摘要： 管道是一种两个进程间进行单向通信的机制。因为管道传递数据的单向性，管道又称为半双工管道。 数据只能由一个进程流向另一个进程，如果要进行双工通信，需要建立两个管道管道只能用于父子进程或者兄弟进程间通信，也就是说管道只能用于具有亲缘关系的进程间通信管道只处理前一个命令正确输出，不处理错误输出管道右边的命 阅读全文
posted @ 2019-06-05 21:26 北漂屌丝 阅读(343) 评论(0) 推荐(1) 编辑
echo head tail
摘要： echo 向控制台输出head 显示文件开头部分的内容 n 用于指定显示文件开头部分几行内容 如果没有带任何参数,就是默认显示文件前10行内容 tail显示文件尾部内容，一个很实用的指令,在监听某个文件的时候,参数"f"可以很好地发挥效果 n 查看文件后面指定几行内容 n 查看文件后面指定几行内容 阅读全文
posted @ 2019-06-05 20:52 北漂屌丝 阅读(172) 评论(0) 推荐(0) 编辑
cat more less
摘要： Linux中命令cat、more、less均可用来查看文件内容；cat是一次性显示整个文件的内容，还可以将多个文件连接起来显示，它常与重定向符号配合使用，适用于文件内容少的情况；more和less一般用于显示文件内容超过一屏的内容，并且提供翻页的功能。less比more更强大，提供翻页，跳转，查找等 阅读全文
posted @ 2019-06-05 20:19 北漂屌丝 阅读(211) 评论(0) 推荐(0) 编辑
linux 内部命令 外部命令
摘要： linux 内部命令 外部命令 linux系统为了提高系统运行效率，将经常使用的轻量的命令在系统启动时一并加载这些命令到内存中供shell随时调用，这部分命令即为内部命令。反之，系统层调用的较重的命令只有当被调用时才会被硬盘加载的这部分命令即为外部命令。 内部命令实际上是shell程序的一部分，其中 阅读全文
posted @ 2019-06-05 19:43 北漂屌丝 阅读(1607) 评论(0) 推荐(0) 编辑
bash和shell
摘要： bash和shell的关系 shell通俗理解：把用户输入的命令翻译给操作系统 bash是borne again shell的缩写，它是shell的一种,Linux上默认采用的是bash 阅读全文
posted @ 2019-06-05 17:51 北漂屌丝 阅读(154) 评论(0) 推荐(0) 编辑