摘要:
Yarn 集群环境搭建 环境准备 确保主机搭建 HDFS 运行环境 步骤一:修改 mapred-site.xml 配置文件 [root@node-01 ~]# cd /root/apps/hadoop-3.2.1/etc/hadoop/ [root@node-01 hadoop]# vim mapr 阅读全文
摘要:
HDFS 集群由一个主/从架构组成,单个运行 NameNode 进程的服务器为主节点服务器,多个运行 DataNode 进程的服务器为从节点服务器 安装准备 主机名 IP地址 服务器 node-01 192.168.229.21 NameNode服务器、DataNode服务器 node-02 192 阅读全文
摘要:
分片集群部署 主机名 IP地址 规划 端口分配 node-01 192.168.229.21 副本集名称:shard1(1主2从1仲裁) 主:27017 从:27018:从:27019 仲:28017 node-02 192.168.229.22 副本集名称:shard2(1主2从1仲裁) 主:27 阅读全文
摘要:
所谓正则表达式,就是利用一些特殊符号构成的表达式,来模糊匹配字符串。下面是一些可用的正则表达式符号: 符号 符号含义 . 匹配除了换行符以外的任意字符 ^ 匹配一行的开始位置 $ 匹配一行的结束位置 * 匹配零次或多次前面的字符或表达式 \ 对下一个字符进行转义,使其成为普通的字符,例如^会将转义, 阅读全文
摘要:
这篇文章是在雷总个人博客看到的,里面聊到了他作为程序员的一些经历、初衷以及思考。写的不错,转来给大家看看。 如果程序人生的话,这条路太漫长 我并非天生喜欢写程序,上高中时也没有想过程序员的生活。 我学电脑非常偶然,小时好友上大学时选择了计算机系,为了和这个朋友有更多的共同语言,我也选择了计算机系,开 阅读全文
摘要:
查看系统当前时间和时区 # 查看时间 [root@hdp-01 flink-1.12.1]# date 2021年 01月 21日 星期四 05:16:10 Local time zone must be set--see zic manual page # 设置时区 [root@hdp-01 As 阅读全文
摘要:
test命令在bash shell脚本中经常以中括号([])的形式出现,而且在脚本中使用字母来表示比符号表示更专业,出错率更低。 测试标志 代表意义 文件名、文件类型 -e 该文件名是否存在 -f 该文件名是否存在且为file -d 该文件名是否存在且为目录 -b 该文件名是否存在且为一个block 阅读全文
摘要:
1、文件管理 cat chattr chgrp chmod chown cksum cmp diff diffstat file find git gitview indent cut ln less locate lsattr mattrib mc mdel mdir mktemp more mm 阅读全文
摘要:
Hadoop 集群包含 1 个主节点和 3 个从节点,需要实现各节点之间的免密码登录 Hadoop集群环境 节点名称 节点IP node-01 192.168.229.21 node-02 192.168.229.22 node-03 192.168.229.23 node-04 192.168.2 阅读全文
摘要:
创建 git 远程代码仓库 登陆开源中国的 gitee 官网:https://gitee.com/ 然后注册账号并登陆,进入以后在右上角点击 + 号,如下: 选择【新建仓库】如下: 注意:仓库分为私有和公开,私有只有自己和项目组成员可以访问,而公开是所以 gitee 用户都可以访问。 点击 【创建】 阅读全文