摘要: NN-1 NN-2 DN ZK ZKFC JNN RS NM(和DN在一起) node0001 * * * node0002 * * * * * * node0003 * * * * * node0004 * * * * 1,修改配置文件 cd /opt/sxt/hadoop-2.6.5/etc/h 阅读全文
posted @ 2020-07-28 23:08 bug开发工程师 阅读(153) 评论(0) 推荐(0) 编辑
摘要: namenode1 namenode2 datanode zk zkfc jnn node0001 * * * node0002 * * * * * node0003 * * * node0004 * * 1,两个namenode节点相互免密钥,以完成主备切换 node0002:cd .ssh ss 阅读全文
posted @ 2020-07-23 00:37 bug开发工程师 阅读(164) 评论(0) 推荐(0) 编辑
摘要: NN SNN DN node0001 * node0002 * * node0003 * node0004 * 1、环境检查: 4台机器jdk安装完成 date (检查时间,相差不能超过几秒,主从节点ping不通) date -s "2020-07-18 23:32:00" (4台机器设置i相同时间 阅读全文
posted @ 2020-07-19 00:33 bug开发工程师 阅读(103) 评论(0) 推荐(0) 编辑
摘要: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 1、安装jdk: cd software (安装包放这里) rpm -i jdk文件名 (安装) whereis ja 阅读全文
posted @ 2020-07-17 00:56 bug开发工程师 阅读(118) 评论(0) 推荐(0) 编辑
摘要: 思想:分而治之 一,执行流程 由图我们可以看到, MapReduce存在以下4个独立的实体。 JobClient:运行于client node,负责将MapReduce程序打成Jar包存储到HDFS,并把Jar包的路径提交到Jobtracker,由Jobtracker进行任务的分配和监控。 JobT 阅读全文
posted @ 2020-07-12 21:53 bug开发工程师 阅读(143) 评论(0) 推荐(0) 编辑
摘要: 一,HDFS特点 优点: (1)高容错性:数据自动保存多个副本;副本丢失后,自动恢复; (2)适合批处理:移动计算而非数据;数据位置暴露给计算框架(Block偏移量); (3)适合大数据处理:GB 、TB 、甚至PB 级数据;百万规模以上的文件数量;10K+ 节点; (4)可构建在廉价机器上:通过多 阅读全文
posted @ 2020-06-28 20:15 bug开发工程师 阅读(179) 评论(0) 推荐(0) 编辑
摘要: 1,文件名搜索:find /tmp -name "*.log" 2,指定目录下搜索某目录中的某文件:find /tmp -path '*a*/*.log' 搜索tmp下文件名包含a的下面的.log文件 3,根据文件类型查找: 一般需要搜索的文件类型就只有普通文件(f),目录(d),链接文件(l)。 阅读全文
posted @ 2020-06-19 17:41 bug开发工程师 阅读(116) 评论(0) 推荐(0) 编辑
摘要: 一,for循环 shell中的 for 循环中可以使用 break 和 continue 关键字来跳出循环, 和java 用法一致。 1,循环死内容 2,循环数字 3,循环命令执行结果(`命令`) 4,for循环,如果do和for在一行,))后要加; 5,嵌套循环 二,while循环 for循环适用 阅读全文
posted @ 2020-06-11 19:47 bug开发工程师 阅读(266) 评论(0) 推荐(0) 编辑
摘要: create or replace function "FIND_STUDENT_BYID"(studentId in number) return varchar2 is studentName varchar2(500); --学生姓名 studentAge number; --学生年龄 beg 阅读全文
posted @ 2020-06-10 16:20 bug开发工程师 阅读(510) 评论(0) 推荐(0) 编辑
摘要: 用法: cut -d'分隔字符' -f fields <==用于有特定分隔字符cut -c 字符区间 <==用于排列整齐的信息选项与参数:-d :后面接分隔字符。与 -f 一起使用;-f :依据 -d 的分隔字符将一段信息分割成为数段,用 -f 取出第几段的意思;-c :以字符 (character 阅读全文
posted @ 2020-06-04 22:14 bug开发工程师 阅读(540) 评论(0) 推荐(0) 编辑