摘要：
1.gitlab创建新应用 2.jenkins安装gitlab插件 3.插件安装完成后全局安全配置中使用并配置gitlab认证 4.注销重新登录后自动使用gitlab当前登录账号登录 jenkins必须和gitlab使用同一浏览器，如果gitlab未登录，则jenkins登录时会自动跳转到gitla 阅读全文
摘要：
一、.部署LDAP 这里使用容器部署，手动部署参考：https://www.cnblogs.com/panwenbin-logs/p/16101045.html 1.安装dockerwget -P /etc/yum.repos.d/ https://mirrors.aliyun.com/docker 阅读全文
摘要：
一、HDFS Trash垃圾桶 1.文件系统垃圾桶背景 HDFS本身也是一个文件系统，那么就会涉及到文件数据的删除操作。 默认情况下，HDFS中是没有回收站垃圾桶概念的，删除操作的数据将会被直接删除，没有后悔药。 2.功能概述 1.HDFS Trash机制，叫做回收站或者垃圾桶。Trash就像Win 阅读全文
摘要：
1.背景 HDFS并不擅长存储小文件，因为每个文件最少一个block，每个block的元数据都会在NameNode占用内存，如果存在大量的小文件，它们会吃掉NameNode节点的大量内存。如下所示，模拟小文件场景： 2.Archive概述 Hadoop Archives可以有效的处理以上问题，它可以 阅读全文
摘要：
一、什么是元数据 在HDFS中，元数据主要指的是文件相关的元数据，由NameNode管理维护。从广义的角度来说，因为NameNode还需要管理众多DataNode节点，因此DataNode的位置和健康状态信息也属于元数据。 二、元数据管理概述 1.文件相关元数据类型 在HDFS中，文件相关元数据具有 阅读全文
摘要：
一、配置文件 1.初始化数据库 wget https://raw.githubusercontent.com/alibaba/nacos/develop/distribution/conf/mysql-schema.sql mysql -uroot -p CREATE DATABASE IF NOT 阅读全文
摘要：
一、HDFS写流程 1.1 核心概念 Pipeline管道 Pipeline，中文翻译为管道。这是HDFS在上传文件写数据过程中采用的一种数据传输方式。 客户端将数据块写入第一个数据节点，第一个数据节点保存数据之后再将块复制到第二个数据节点，后者保存后将其复制到第三个数据节点。 为什么datanod 阅读全文
摘要：
HDFS Web地址是http://nn_host:port/,2.x 默认端口号 50070 3.x 默认端口号9870 一、模块功能解读-Overview Overview是HDFS web默认的主页面。展示了HDFS一些最核心的信息，概括性的信息。 具体包括Summary、NameNode J 阅读全文
摘要：
一、注意事项 1.1 注意替换资产模板中nodes值，可以通过数据库assets_node表中获取，或者使用jumpserver 脚本获取资产信息查看 1.2 requirements.txt aliyun-python-sdk-core==2.13.36 aliyun-python-sdk-ecs 阅读全文
摘要：
一、HDFS HA简介 1.1 QJM简介 1.Quorum Journal Manager（仲裁日志管理器），是Hadoop官方推荐的HDFS HA解决方案之一 2.使用zookeeper中ZKFC来实现主备切换； 3.使用Journal Node（JN）集群实现edits log的共享以达到数据 阅读全文
摘要：
一、新建library文件 build.groovy package org.devops // 构建类型 def Build(buildType,buildShell){ // M3 ANT等值都是配置相关全局工具是定义的名称 def buildTools = ["mvn":"M3","ant": 阅读全文
摘要：
1.安装环境 操作系统及版本：Ubuntu 20.04.5 GPU: 8GB GPU驱动(我是阿里云GPU服务器) Linux手动安装GPU驱动参考：https://docs.nvidia.com/datacenter/tesla/tesla-installation-notes/index.htm 阅读全文
摘要：
一、jienkins集成Maven 环境要求 安装jenkins Ant Gradle NodeJS Maven四个插件 1.安装Maven 下载地址：https://maven.apache.org/download.cgi wget --no-check-certificate https:// 阅读全文
摘要：
1.安装依赖 yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make libffi-devel 2.下载软件包 wget https 阅读全文
摘要：
1.下载安装包 wget https://github.com/alibaba/nacos/releases/download/2.2.0/nacos-server-2.2.0.tar.gz tar xf nacos-server-2.2.0.tar.gz -C /usr/local/ cd /us 阅读全文
摘要：
1.安装yum源及rabbitmq curl -s https://packagecloud.io/install/repositories/rabbitmq/erlang/script.rpm.sh | sudo bash curl -s https://packagecloud.io/insta 阅读全文
摘要：
一、分布式文件存储面临的挑战 1.海量数据存储问题 采用多台服务器，支持横向扩展 2.海量数据问题查询便捷问题 使用元数据记录文件和机器的位置信息 3.大文件传输效率慢问题 分块存储，分别存储在多台机器上，并行操作提高效率 4.数据丢失问题 冗余存储，多副本机制 5.解决用户查询视角统一规整问题 可 阅读全文
摘要：
一、节点上线 1.新机器安装环境准备 参考集群安装文档环境准备 2.namenode节点配置 [root@hdp01 hadoop]# cat workers hdp01.dialev.com hdp02.dialev.com hdp03.dialev.com hdp04.dialev.com [r 阅读全文
摘要：
一、短路本地读取(Short Circuit Local Reads) 1.1 背景 在HDFS中，不管是Local Reads ( DFSClient和Datanode在同一个节点）还是Remote Reads ( DFSClient和Datanode不在同一个节点）， 底层处理方式都是一样的，都 阅读全文
摘要：
一、安全模式现象探究 1.1 关闭所有服务，使用命令单独启动服务 使用hdfs --daemon命令逐个进程启动集群，观察现象 1.首先启动namenode stop-all.sh jps hdfs --daemon start namenode jps hadoop fs -ls / #使用ls浏 阅读全文