07 2023 档案
摘要：一、Spark框架概述 1.1 spark是什么 定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unified）分析引擎。 弹性分布式数据集RDD:RDD 是一种分布式内存抽象，其使得程序员能够在大规模集群中做内存运算，并且有一定的容错方式。而这也是整
阅读全文
摘要：一、Yarn 资源调度器 Yarn 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。 1.1 Yarn 基础架构 YARN 主要由 ResourceManager、NodeManager、A
阅读全文
摘要：一、MapReduce的概述 1.1 MapReduce的核心思想 1.2 MapReduce的三类实例进程 1）MrAppMaster：负责整个程序的过程调度及状态协调。 2）MapTask：负责 Map 阶段的整个数据处理流程。 3）ReduceTask：负责 Reduce 阶段的整个数据处理流
阅读全文
摘要：一、HDFS的shell操作 用hadoop fs 和hdfs dfs两个都可以。 1.1上传 1）-moveFromLocal：从本地剪切粘贴到 HDFS 2）-copyFromLocal：从本地文件系统中拷贝文件到 HDFS 路径去 3）-put：等同于 copyFromLocal，生产环境更习
阅读全文
摘要：自从安装了docker以后，我的虚拟机就是总是卡死，刚打开一会就卡死，关于docker和vmware虚拟机他俩冲突的问题我一开始是知道的，但是我从网上搜索说vmware自从版本16以后就是已经解决这个问题了，所以发生软死锁的问题我就没有往docker身上想，我一直以为是因为我的操作失误导致了它发生软
阅读全文
摘要：一、hadoop的组成 引自尚硅谷教程P12 1.1 hdfs的组成 引自尚硅谷教程p13 1.2 yarn的组成 引自尚硅谷教程p14 1.3 Mapreduce组成 Mapreduce 将计算过程分为两个阶段：Map和Reduce 1). Map阶段输入数据； 2). Reduce阶段对对数据进
阅读全文
摘要：Markdown的基本操作 标题 三级标题 四级标题 字体 粗体 Hello，world! 斜体 Hello，world! 斜粗体 Hello，world! 删除线 Hello，world! 下划线 这个可以实现键盘的效果 ： Ctrl 引用 我是引用巴拉巴拉 分割线 图片 超链接 跳转到百度 也可
阅读全文
摘要：我是用的是docker的redis 6版本的镜像，然后运行容器，进去后，可以直接使用命令：redis-cli 打开客户端，也可以进入到/usr/local/bin/目录下，执行命令./redis-cli 打开客户端，两种方法都是可行的，退出客户端执行命令exit，打开客户端后可以执行命令ping测试
阅读全文
