摘要：
yarn集群 主要有 Resource manager 多个Node Manager rm最好独立安装一个节点 nm最好和datanode在一个节点。 node manager的主要作用：创建容器，运行程序 resource manager任务调度：指定node manager 开多少个容器来运行 阅读全文
摘要：
1、map阶段前先进行切片 一个文件被切分成多个128MB的切片 一个切片启动一个mapTask的程序。mapTask程序可以分批运行。 2、reduceTask mapTask的返回就是key-value reduceTask 根据所有mapTask 返回的key搜集到一个reduceTsak 中 阅读全文
摘要：
1、流程 启动一个定时任务： --定时监测日志源目录 --获取需要采集的文件 --移动这些文件到一个待上传临时目录中 --遍历待上传目录中各个文件，逐一传输到HDFS的目标路径，同时将传输完成的文件移动到备份目录中去 启动一个定时任务 --探测备份目录中的备份数据，检查是否已经超出最长备份时长，如果 阅读全文
摘要：
HDFS-namenode 原理：记录元数据(hdfs的目录结构、块信息等) 1.会将树形的数据结构对象序列化到namenode工作目录中的faimages文件中，隔一段时间序列化一次。 对hdfs的修改操作被记录下来，存在磁盘--edits日志文件。 如果挂机了先反序列化faimages的文件，但 阅读全文
摘要：
zookeeper 是一个分布式协调服务，为用户的分布式应用程序提供协调服务。 使用场景/作用：为集群的节点提供监听，保存一定的配置数据。zookeeoer本身就是分布式的程序。 ++可以为客户管理少量数据kv++ ++/aa "hello" ++ ++可以为客户端监听指定数据节点的状态并在数据节点 阅读全文
摘要：
1.安装jdk 2.下载：hadoop.apache.org 解压缩hadoop-x.x.x 程序jar包：share/hadoop 3.配置文件：cd etc -> hadoop-env.sh : export JAVA_HOME 3.1 core-site.xml 3.2 hdfs-site.x 阅读全文
摘要：
echo $PATH | cut -d ':' -f 3 : 输出path信息作为cut的输入 -d 以:为分割 -f输出第3列的信息。 cat /etc/passwd | sort -t ':' -k 7nr 数字表示根据第几列排序，n表示数子形式，r表示倒序 cat /etc/passwd | 阅读全文
摘要：
系统变量，显示当前shell的所有变量 set 引用变量$加变量名 全局变量：export 变量名 将命令的返回值赋值给变量: A=`ls -la` 反引号 等同于 A=$(ls -la) 判断语句：[ condition ] && echo OK || echo nook （条件成立执行&&后面的 阅读全文
摘要：
chmod find chown mkdir rm 统计文件或文件夹大小 du -sh 路径 查看磁盘空间 df -h 拷贝文件 -- cp 文件 目标目录 查看文件内容 -- cat(全部查看) more(翻页查看) less(翻页和一行查看，搜索关键字 -/) tail -10 文件名 (查看文 阅读全文
摘要：
SSH-远程登录的安全外壳机制 ssh的连接其他服务器： ssh 其他主机ip 把一个文件拷贝到另一台服务器上：scp 路径+文件名 用户(默认当前用户)@目标主机ip:指定目录 A免密钥登录B A为当前主机B为目标主机，A执行ssh-keygen 生成公钥私钥 保存在/.ssh/id_rsa 有 阅读全文