摘要:
NN-1 NN-2 DN ZK ZKFC JNN RS NM(和DN在一起) node0001 * * * node0002 * * * * * * node0003 * * * * * node0004 * * * * 1,修改配置文件 cd /opt/sxt/hadoop-2.6.5/etc/h 阅读全文
摘要:
namenode1 namenode2 datanode zk zkfc jnn node0001 * * * node0002 * * * * * node0003 * * * node0004 * * 1,两个namenode节点相互免密钥,以完成主备切换 node0002:cd .ssh ss 阅读全文
摘要:
NN SNN DN node0001 * node0002 * * node0003 * node0004 * 1、环境检查: 4台机器jdk安装完成 date (检查时间,相差不能超过几秒,主从节点ping不通) date -s "2020-07-18 23:32:00" (4台机器设置i相同时间 阅读全文
摘要:
https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 1、安装jdk: cd software (安装包放这里) rpm -i jdk文件名 (安装) whereis ja 阅读全文
摘要:
思想:分而治之 一,执行流程 由图我们可以看到, MapReduce存在以下4个独立的实体。 JobClient:运行于client node,负责将MapReduce程序打成Jar包存储到HDFS,并把Jar包的路径提交到Jobtracker,由Jobtracker进行任务的分配和监控。 JobT 阅读全文
摘要:
一,HDFS特点 优点: (1)高容错性:数据自动保存多个副本;副本丢失后,自动恢复; (2)适合批处理:移动计算而非数据;数据位置暴露给计算框架(Block偏移量); (3)适合大数据处理:GB 、TB 、甚至PB 级数据;百万规模以上的文件数量;10K+ 节点; (4)可构建在廉价机器上:通过多 阅读全文
摘要:
1,文件名搜索:find /tmp -name "*.log" 2,指定目录下搜索某目录中的某文件:find /tmp -path '*a*/*.log' 搜索tmp下文件名包含a的下面的.log文件 3,根据文件类型查找: 一般需要搜索的文件类型就只有普通文件(f),目录(d),链接文件(l)。 阅读全文
摘要:
一,for循环 shell中的 for 循环中可以使用 break 和 continue 关键字来跳出循环, 和java 用法一致。 1,循环死内容 2,循环数字 3,循环命令执行结果(`命令`) 4,for循环,如果do和for在一行,))后要加; 5,嵌套循环 二,while循环 for循环适用 阅读全文
摘要:
create or replace function "FIND_STUDENT_BYID"(studentId in number) return varchar2 is studentName varchar2(500); --学生姓名 studentAge number; --学生年龄 beg 阅读全文
摘要:
用法: cut -d'分隔字符' -f fields <==用于有特定分隔字符cut -c 字符区间 <==用于排列整齐的信息选项与参数:-d :后面接分隔字符。与 -f 一起使用;-f :依据 -d 的分隔字符将一段信息分割成为数段,用 -f 取出第几段的意思;-c :以字符 (character 阅读全文