随笔分类 - Hadoop学习
摘要:1、Hadoop入门 1.1 Hadoop优势 高可靠性 Hadoop底层维护多个数据副本,即使Hadoop某个计算元素或存储出现故障,也不会导致数据丢失 高扩展性 在集群间分配任务数据,可方便的扩展数以千计的节点 高效性 在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度
阅读全文
摘要:1 HDFS的定义 HDFS(Hadoop Distributed File System),是一个分布式的目录树文件系统,适合用一次写入多次读出的场景。 2 HDFS的优缺点 2.1 优点 高容错性 数据自动保存多个副本,即通过增加副本的形式,提高容错性。 适合处理大数据 数据规模:可达PB级别的
阅读全文
摘要:1 集群部署规划 集群部署规划 pcnode01 pcnode02 pcnode03 HDFS NameNodeDataNode DataNode SecondaryNameNodeDataNode YARN NodeManager ResoureManagerNodeManager NodeMan
阅读全文
摘要:指定加密算法生成ras文件 ssh-keygen -t rsa 将id_rsa.pub分发给目标服务器 ssh-copy-id root@node01 说明 ~/.ssh/authorized_keys文件放置公匙文件 另一种追加公匙的方式:cat ~/.ssh/id_rsa.pub | ssh -
阅读全文
摘要:1 脚本 #! /bin/bash #判断参数个数 if [ $# -lt 1] then echo "The args is not enough!" exit; fi #遍历集群所有机器 for host in node01 node02 node03 node04 do #遍历所有文件 for
阅读全文
摘要:清空linux中的java,完成完全卸载 rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps rpm -qa:查询所安装的所有 rpm 软件包 grep -i:忽略大小写 xargs -n1:表示每次只传递一个参数 rpm -e –nodeps:强制
阅读全文
摘要:1 Centos在虚拟机中安装步骤 修改镜像源 https://mirrors.huaweicloud.com/ 2 网络配置 配置模板机 安装网络工具 yum install net-tools 网络配置目录 cd /etc/sysconfig/network-scripts/ 编辑网卡配置文件i
阅读全文