摘要： 一、hdfs概述 HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的简称，它的设计目标是把超大数据集存储到网络中的多台普通计算机上，并提供高可靠性和高吞吐率的服务。 HDFS的优点：高容错性：数据自动保存多个副本，hdfs默认的副本数量是3适合处理 阅读全文

摘要： 基础环境centos7.5，mysql版本8.0.20，通过tar包安装，安装路径/usr/local。 mysql官网：https://dev.mysql.com/downloads/mysql/ 卸载centos7中自带的mariadb [root@localhost ~]# rpm -qa|g 阅读全文

摘要： mysql8.0之前的版本是不支持开窗函数的，8.0之后才支持。 开窗函数与聚合函数的计算方式一样，也是对行集组进行聚合计算，但是它不像普通聚合函数那样每组只返回一个值，开窗函数可以为每组返回多个值。 假设有一个员工信息表worker，数据如下图一。如果我们要计算所有人或者每个年龄的平均工资，可通过 阅读全文

摘要： 基础环境centos7.5，jdk-8u212-linux-x64、hadoop-3.1.3.tar.gz。 Hadoop 下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/ 集群规划 一、基础环境准备 准备三台虚拟机，使 阅读全文

摘要： 四个主要模块： common：工具类，rpc框架 hdfs：分布式文件系统，主从架构 主上面的进程：namenode、secondarynamenode(不过一般不跟namenode在一个节点) 从上面的进程：datanode yarn：集群的资源调度框架，主从架构 主上面的进程：resourcem 阅读全文

摘要： create创建容器 语法：docker create -it 镜像:tag 例如：docker create -it ubuntu:v1.0.0 可通过docker ps -a查看本机上所有容器的名称、镜像、状态等信息。 start启动容器 语法：docker start 容器名 例如：docke 阅读全文

摘要： docker login/logout：登录/登出镜像库 语法：docker login [-u username [-p password]] [server] / docker logout [server] -u username表示登录用户名，-p password 表示登录密码，serve 阅读全文

摘要： 后续所有安装都基于上一篇文章的1个master和3个node的基础。 yaml文件：区分大小写、使用空格而不是tab、键值之间有空格 apiVersion: #api版本 kind: #资源类型，pod、service、deployment等 matedata: #属性 spec: #详细信息 创建 阅读全文

摘要： 正则表达式是以行为单位，通过一些特殊符号的辅助，来进行查找、替换和删除某些特定字符串的处理方法。 下面使用grep命令来进行正则表达式的练习。 阅读全文

摘要： 数据流重定向 数据流重定向是将某个命令执行后应该出现在屏幕上的数据传输到其他地方。 标准输入stdin：代码为0，使用<或者<<，<表示覆盖<<表示追加 标准输出stdout：代码为1，使用>或者>>，>表示覆盖输出>>表示追加输出 标准错误输出stderr：代码为2，使用2>或者2>>，>表示覆盖 阅读全文