摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、Hive安装配置 ### 环境准备 ~~~ Hive官网:http://hive.apache.org ~~~ 下载网址:http://archive.apache.org/dist/hive/ ~~~ 文档网址:https://cwiki.apache.org/confluence/displ
阅读全文
摘要:一、metastore远程模式配置规划: 节点 metastore client Hadoop01 √ Hadoop02 √ Hadoop03 √ 二、配置并启动HiveServer服务 ### 将Hadoop02 的 hive 安装文件拷贝到Hadoop01、Hadoop03并配置 [root@h
阅读全文
摘要:附录一:报错处理一: ### 报错现象: ~~~ 卡在这个位置不会动,数据没有加载 ~~~ 在执行这个的时候,把history打开,用于监控错误信息 [root@hadoop02 ~]# sh $SCRIPT_HOME/dwd_load_startlog.sh 2020-07-21 Cannot r
阅读全文
摘要:附录一:Mapreduce内存参数调整一: # 在mapreduce配置文件下配置 [root@hadoop02 ~]# vim /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop/mapred-site.xml <!-- 设置map、reduce合理内存参数 --
阅读全文
摘要:一、配置历史服务器 ### 在Yarn中运行的任务产生的日志数据不能查看, ~~~ 为了查看程序的历史运行情况,需要配置一下历史日志服务器。具体配置步骤如下: ### 配置mapred-site.xml [root@hadoop01 ~]# vim /opt/yanqi/servers/hadoop
阅读全文
摘要:一、启动HDFS集群 ### 启动集群注意事项 ~~~ # 注意:如果集群是第一次启动,需要在Namenode所在节点格式化NameNode, ~~~ # 非第一次不用执行格式化Namenode操作!! 二、单节点启动:格式化NameNode ### 单节点启动 ~~~ # 所有节点执行 [root
阅读全文
摘要:一、集群测试 ### HDFS 分布式存储初体验 ~~~ 从linux本地文件系统上传下载文件验证HDFS集群工作正常 ~~~ HDFS访问地址:http://hadoop01:50070/ ~~~ # 本地hoome目录创建一个文件 [root@hadoop01 ~]# vim test.txt
阅读全文
摘要:一、集群配置 ### # Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置 ### # HDFS集群配置 ~~~ 将JDK路径明确配置给HDFS(修改hadoop-env.sh) ~~~ 指定NameNode节点以及数据存储目录(修改core-site
阅读全文
摘要:一、分发配置:rsync-script命令详解 ### 编写集群分发脚本rsync-script ~~~ rsync 远程同步工具 ~~~ rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 ~~~ rsync和scp区别:用rsync做文件的复制要比scp的速度快,r
阅读全文
摘要:一、集群规划 hadoop1 hadoop2 hadoop3 NameNode √ SecondaryNameNode √ DataNode √ √ √ ResourceManager √ DataManager √ √ √ Hive √ √ √ HiveServer2 √ 二、HDFS和YARN集
阅读全文
摘要:一、Apache Hadoop 完全分布式集群搭建 ### 软件和操作系统版本 ~~~ Hadoop框架是采用Java语言编写,需要java环境(jvm) ~~~ JDK版本:JDK8版本 ### 集群: ~~~ 知识点学习:统一使用vmware虚拟机虚拟五台linux节点,linux操作系统:Ce
阅读全文
摘要:一、配置环境规划 ### vmware、linux版本 ~~~ vmware版本:VMware-workstation-full-15.5.5-16285975.exe ~~~ Linux版本:CentOS-7-x86_64-DVD-1810.iso ### Linux主机配置参数 ~~~ CPU:
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、Redis单机版安装和使用 ### 安装C 语言需要的GCC 环境 [root@hadoop ~]# yum install -y gcc-c++ [root@hadoop ~]# yum install -y wget ### 下载并解压缩Redis 源码压缩包 [root@hadoop so
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、集群搭建:搭建设计 ### 分配三台Linux,用于安装拥有三个节点的Kafka集群。 Hadoop01 192.168.1.111 Hadoop02 192.168.1.122 Hadoop03 192.168.1.133 一、部署kafka集群:配置hosts文件 ### 以上三台主机的/e
阅读全文
摘要:一、部署kafka-eagle:开启kafka节点的JMX ### 下载并解压kafka-eagle部署包 ~~~ # 下载编译好的包 [root@hadoop01 software]# wget http://pkgs-linux.cvimer.com/kafka-eagle.zip [root@
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文