02 2023 档案
摘要:一、HDFS写流程 1.1 核心概念 Pipeline管道 Pipeline,中文翻译为管道。这是HDFS在上传文件写数据过程中采用的一种数据传输方式。 客户端将数据块写入第一个数据节点,第一个数据节点保存数据之后再将块复制到第二个数据节点,后者保存后将其复制到第三个数据节点。 为什么datanod
阅读全文
摘要:HDFS Web地址是http://nn_host:port/,2.x 默认端口号 50070 3.x 默认端口号9870 一、模块功能解读-Overview Overview是HDFS web默认的主页面。展示了HDFS一些最核心的信息,概括性的信息。 具体包括Summary、NameNode J
阅读全文
摘要:一、注意事项 1.1 注意替换资产模板中nodes值,可以通过数据库assets_node表中获取,或者使用jumpserver 脚本获取资产信息查看 1.2 requirements.txt aliyun-python-sdk-core==2.13.36 aliyun-python-sdk-ecs
阅读全文
摘要:一、HDFS HA简介 1.1 QJM简介 1.Quorum Journal Manager(仲裁日志管理器),是Hadoop官方推荐的HDFS HA解决方案之一 2.使用zookeeper中ZKFC来实现主备切换; 3.使用Journal Node(JN)集群实现edits log的共享以达到数据
阅读全文
摘要:一、新建library文件 build.groovy package org.devops // 构建类型 def Build(buildType,buildShell){ // M3 ANT等值都是配置相关全局工具是定义的名称 def buildTools = ["mvn":"M3","ant":
阅读全文
摘要:1.安装环境 操作系统及版本:Ubuntu 20.04.5 GPU: 8GB GPU驱动(我是阿里云GPU服务器) Linux手动安装GPU驱动参考:https://docs.nvidia.com/datacenter/tesla/tesla-installation-notes/index.htm
阅读全文
摘要:一、jienkins集成Maven 环境要求 安装jenkins Ant Gradle NodeJS Maven四个插件 1.安装Maven 下载地址:https://maven.apache.org/download.cgi wget --no-check-certificate https://
阅读全文
摘要:1.安装依赖 yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make libffi-devel 2.下载软件包 wget https
阅读全文
摘要:1.下载安装包 wget https://github.com/alibaba/nacos/releases/download/2.2.0/nacos-server-2.2.0.tar.gz tar xf nacos-server-2.2.0.tar.gz -C /usr/local/ cd /us
阅读全文
摘要:1.安装yum源及rabbitmq curl -s https://packagecloud.io/install/repositories/rabbitmq/erlang/script.rpm.sh | sudo bash curl -s https://packagecloud.io/insta
阅读全文
摘要:一、分布式文件存储面临的挑战 1.海量数据存储问题 采用多台服务器,支持横向扩展 2.海量数据问题查询便捷问题 使用元数据记录文件和机器的位置信息 3.大文件传输效率慢问题 分块存储,分别存储在多台机器上,并行操作提高效率 4.数据丢失问题 冗余存储,多副本机制 5.解决用户查询视角统一规整问题 可
阅读全文
摘要:一、节点上线 1.新机器安装环境准备 参考集群安装文档环境准备 2.namenode节点配置 [root@hdp01 hadoop]# cat workers hdp01.dialev.com hdp02.dialev.com hdp03.dialev.com hdp04.dialev.com [r
阅读全文
摘要:一、短路本地读取(Short Circuit Local Reads) 1.1 背景 在HDFS中,不管是Local Reads ( DFSClient和Datanode在同一个节点)还是Remote Reads ( DFSClient和Datanode不在同一个节点), 底层处理方式都是一样的,都
阅读全文
摘要:一、安全模式现象探究 1.1 关闭所有服务,使用命令单独启动服务 使用hdfs --daemon命令逐个进程启动集群,观察现象 1.首先启动namenode stop-all.sh jps hdfs --daemon start namenode jps hadoop fs -ls / #使用ls浏
阅读全文
摘要:一、数据迁移使用场景 1.冷热集群数据同步、分类存储 2.整体数据整体搬迁 3.数据准实时同步(备份) 二、考量因素 1.网络传输带宽及时间,是否会影响现有业务 2.性能,单机?多线程?分布式? 3.是否正常增量同步 4.数据迁移的同步性(同步单位时间数据超过单位时间) 三、DistCp工具使用 3
阅读全文
摘要:一、Hadoop 简介 1.1 Hadoop3核心组件 HDFS:分布式文件系统:解决海量数据存储 YARN:集群资源管理和任务调度框架:解决资源任务调度 MapReduce:分布式计算框架:解决海量数据计算 1.2 Hadoop集群简介 Hadoop集群包括两个集群:HDFS YARN 两个集群
阅读全文
摘要:一、安装编译相关依赖 此篇文档及Hadoop相关文档相关软件包统一在此百度网盘: 链接:https://pan.baidu.com/s/11F4THdIfgrULMn2gNcObRA?pwd=cjll yum install snappy snappy-devel bzip2 bzip2-devel
阅读全文
摘要:一、获取认证token 由于我是docker,这里我只演示docker方式,其他方式类似 docker exec -it jms_core /bin/bash #进入core 服务 cd /opt/jumpserver/apps python manage.py shell from users.m
阅读全文
摘要:一、前置条件 提前安装MongoDB 二、YAML文件 namespace 自行替换 Deployment.yaml apiVersion: apps/v1 kind: Deployment metadata: name: yapi namespace: ops-share labels: app:
阅读全文
摘要:一、Json数据格式化(readJSON) # 建议使用def response = readJSON text: "${scanResult}" println(scanResult) //以下为原生方法。不建议使用 import groovy.json.* @NonCPS def GetJson
阅读全文
摘要:一、添加AnsiColor插件 二、查看插件语法 1.打开任意pipline项目配置,找到流水线语法,并点击 跳转连接,选择插件,查看帮助 三、修改sharelibrary脚本,优化打印方法 package org.devops //格式化输出 def PrintMes(value,color){
阅读全文
摘要:一、目录结构 共享库的目录结构如下: (root) +- src # Groovy source files | +- org | +- foo | +- Bar.groovy # for org.foo.Bar class +- vars | +- foo.groovy # for global
阅读全文
摘要:一、Pipeline概念 1 node/agent(节点) 节点是一个机器,可以是Jenkins的master节点也可以是slave节点。通过node指定当前job运行的机器(这个是脚本式语法)。 参数: . any 在任何可用的节点上执行pipeline。 . none 没有指定agent的时候默
阅读全文
摘要:一、环境配置 [root@sdp-dev ~]# getenforce Disabled [root@sdp-dev ~]# systemctl stop firewalld.service # 修改字符集,否则可能报 input/output error的问题,因为日志里打印了中文 [root@s
阅读全文
摘要:一、环境及要求 环境:CentOS Linux 7.9 jumpserver v2.28.6 要求 Linux Kernel: >= 4.0 MySQL: >= 5.7 #官方使用MariaDB 10.6 对照MySQL8.0 Redis: >= 5.0 #不支持cluster模式 官方使用Redi
阅读全文
摘要:连接Mysql时报javax.net.ssl.SSLHandshakeException No appropriate protocol (protocol is disabled or cipher suites are inappropriate)错误 报错如下 [RX2]-ERROR-[202
阅读全文
摘要:一、前言 JDK的奇数版本和偶数版本有什么区别 每次去Oracle官网去下载JDK,就会发现有两个版本,一个基数版本,一个偶数版本。比如最新的jdk-8u321和jdk-8u322。这是咋回事? 这是官方对于奇数版本与偶数版本区别的解释: 从JDK版本7u71以后,JAVA将会在同一时间发布两个版本
阅读全文