WhoYoung

2019年7月11日

摘要：基本过程图： Clinet向ResouceManager发送Job请求 ResouceManager接受到请求后在自身开启一个Container 来运行的ApplicationManager组件，ApplicationManager负责接下来的Job请求。 ResourceManager（Appli 阅读全文

posted @ 2019-07-11 15:48 WhoYoung 阅读(308) 评论(0) 推荐(0) 编辑

MapReduce基本原理

摘要： MapReduce基本原理基本过程图：详细过程图：简单流程： Clinet ->request ResourceManager -> get Resource -> Job start ->InputFormat->Write InputSplit->Split[0...M]-> Mapper 阅读全文

posted @ 2019-07-11 15:44 WhoYoung 阅读(406) 评论(0) 推荐(1) 编辑

2019年7月5日

ELK的一点认识

摘要：为什么需要ELK：一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。简介： ELK是三个开源软件的缩写，分别表示：Elasticsearch , 阅读全文

posted @ 2019-07-05 15:12 WhoYoung 阅读(450) 评论(0) 推荐(0) 编辑

HDFS中的NameNode名节点——FSimage

摘要： HDFS缓冲区 Fsimage 文件映射，Edits文件操作记录。与ES的缓冲区不同，ES是维护数据的变更，而HDFS缓冲区是用于名结点维护文件系统元数据（目录树）的机制。在HDFS集群中，NameNode结点相较于DataNode数量较少，往往几个Namenode支撑着几百个DataNode的阅读全文

posted @ 2019-07-05 15:10 WhoYoung 阅读(1852) 评论(0) 推荐(0) 编辑

2019年6月11日

Hive安装与配置——2.3.5版本

摘要： Hive安装配置 Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行，使查询和分析方便。下载源文件已安装的hadoop版本：2.7.3, Hadoop安装见随笔 CentOS7 阅读全文

posted @ 2019-06-11 17:08 WhoYoung 阅读(494) 评论(0) 推荐(0) 编辑

2019年6月7日

CentOS7上安装伪分布式Hadoop

摘要： 1.下载安装包下载hadoop安装包官网地址：https://hadoop.apache.org/releases.html 版本：建议使用hadoop-2.7.3.tar.gz 系统环境：CentOS 7 注：需要装有JDK支持，版本1.8或者更高 2.解压安装包默认软件安装路径为 /usr 阅读全文

posted @ 2019-06-07 16:43 WhoYoung 阅读(636) 评论(0) 推荐(0) 编辑

Docker中配置MySQL并实现远程访问

摘要： Docker配置MySQL容器拉取MySQL镜像有可能会因为网络问题失败，重复尝试。创建容器 -d 后台运行，--name 设置名称 selfdefinename 是用户自定义的容器名称，-p 设置端口映射，第一个3306是当前主机的端口，第二个3306指容器中的端口；-e 设置root用户密阅读全文

posted @ 2019-06-07 14:26 WhoYoung 阅读(20635) 评论(2) 推荐(2) 编辑

CentOS部署TOMCAT8

摘要：官网下载地址：https://tomcat.apache.org/download-80.cgi 版本：TOMCAT 8 —— Core——tar.gz 首先需要将文件传输到CentOS的/usr/soft目录下使用tar命令解压进入tomcat的bin目录运行服务网页访问关闭 TOMCA 阅读全文

posted @ 2019-06-07 13:15 WhoYoung 阅读(769) 评论(0) 推荐(0) 编辑

设置mysql的字符集永远为UTF-8

摘要： 1.在虚拟机/usr路径下创建一个文件命名为:mysql.cnf cd /usr touch mysql.cnf 2.在该文件中使用vim命令插入配置文本 vim mysql.cnf 按i键进入编辑模式，粘贴以下内容: [client] default-character-set=utf8 [mys 阅读全文

posted @ 2019-06-07 12:40 WhoYoung 阅读(2970) 评论(0) 推荐(0) 编辑

Dokcer中Mysql的数据导入导出

摘要：导出 1.首先进入容器，输入提取数据库文件命令 2.退出容器，进入linux；输入拷贝命令 3.使用mobaxterm ，提取文件到当前windows操作系统；导入与导出相反； 1.首先通过mobaxterm，复制windows操作系统中的sql文件到远程linux端 2.在linux中输入拷贝阅读全文

posted @ 2019-06-07 12:38 WhoYoung 阅读(120) 评论(0) 推荐(0) 编辑

公告