02 2023 档案

摘要:一、HDFS写流程 1.1 核心概念 Pipeline管道 Pipeline,中文翻译为管道。这是HDFS在上传文件写数据过程中采用的一种数据传输方式。 客户端将数据块写入第一个数据节点,第一个数据节点保存数据之后再将块复制到第二个数据节点,后者保存后将其复制到第三个数据节点。 为什么datanod 阅读全文
posted @ 2023-02-28 16:33 百衲本 阅读(701) 评论(0) 推荐(0) 编辑
摘要:HDFS Web地址是http://nn_host:port/,2.x 默认端口号 50070 3.x 默认端口号9870 一、模块功能解读-Overview Overview是HDFS web默认的主页面。展示了HDFS一些最核心的信息,概括性的信息。 具体包括Summary、NameNode J 阅读全文
posted @ 2023-02-28 14:12 百衲本 阅读(319) 评论(0) 推荐(0) 编辑
摘要:一、注意事项 1.1 注意替换资产模板中nodes值,可以通过数据库assets_node表中获取,或者使用jumpserver 脚本获取资产信息查看 1.2 requirements.txt aliyun-python-sdk-core==2.13.36 aliyun-python-sdk-ecs 阅读全文
posted @ 2023-02-27 16:20 百衲本 阅读(615) 评论(0) 推荐(0) 编辑
摘要:一、HDFS HA简介 1.1 QJM简介 1.Quorum Journal Manager(仲裁日志管理器),是Hadoop官方推荐的HDFS HA解决方案之一 2.使用zookeeper中ZKFC来实现主备切换; 3.使用Journal Node(JN)集群实现edits log的共享以达到数据 阅读全文
posted @ 2023-02-27 11:51 百衲本 阅读(470) 评论(0) 推荐(0) 编辑
摘要:一、新建library文件 build.groovy package org.devops // 构建类型 def Build(buildType,buildShell){ // M3 ANT等值都是配置相关全局工具是定义的名称 def buildTools = ["mvn":"M3","ant": 阅读全文
posted @ 2023-02-27 00:16 百衲本 阅读(125) 评论(0) 推荐(0) 编辑
摘要:1.安装环境 操作系统及版本:Ubuntu 20.04.5 GPU: 8GB GPU驱动(我是阿里云GPU服务器) Linux手动安装GPU驱动参考:https://docs.nvidia.com/datacenter/tesla/tesla-installation-notes/index.htm 阅读全文
posted @ 2023-02-23 11:48 百衲本 阅读(744) 评论(0) 推荐(0) 编辑
摘要:一、jienkins集成Maven 环境要求 安装jenkins Ant Gradle NodeJS Maven四个插件 1.安装Maven 下载地址:https://maven.apache.org/download.cgi wget --no-check-certificate https:// 阅读全文
posted @ 2023-02-20 22:30 百衲本 阅读(236) 评论(0) 推荐(0) 编辑
摘要:1.安装依赖 yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make libffi-devel 2.下载软件包 wget https 阅读全文
posted @ 2023-02-20 15:08 百衲本 阅读(102) 评论(0) 推荐(0) 编辑
摘要:1.下载安装包 wget https://github.com/alibaba/nacos/releases/download/2.2.0/nacos-server-2.2.0.tar.gz tar xf nacos-server-2.2.0.tar.gz -C /usr/local/ cd /us 阅读全文
posted @ 2023-02-20 14:56 百衲本 阅读(89) 评论(0) 推荐(0) 编辑
摘要:1.安装yum源及rabbitmq curl -s https://packagecloud.io/install/repositories/rabbitmq/erlang/script.rpm.sh | sudo bash curl -s https://packagecloud.io/insta 阅读全文
posted @ 2023-02-20 14:44 百衲本 阅读(143) 评论(0) 推荐(0) 编辑
摘要:一、分布式文件存储面临的挑战 1.海量数据存储问题 采用多台服务器,支持横向扩展 2.海量数据问题查询便捷问题 使用元数据记录文件和机器的位置信息 3.大文件传输效率慢问题 分块存储,分别存储在多台机器上,并行操作提高效率 4.数据丢失问题 冗余存储,多副本机制 5.解决用户查询视角统一规整问题 可 阅读全文
posted @ 2023-02-17 16:18 百衲本 阅读(314) 评论(0) 推荐(0) 编辑
摘要:一、节点上线 1.新机器安装环境准备 参考集群安装文档环境准备 2.namenode节点配置 [root@hdp01 hadoop]# cat workers hdp01.dialev.com hdp02.dialev.com hdp03.dialev.com hdp04.dialev.com [r 阅读全文
posted @ 2023-02-17 15:59 百衲本 阅读(64) 评论(0) 推荐(0) 编辑
摘要:一、短路本地读取(Short Circuit Local Reads) 1.1 背景 在HDFS中,不管是Local Reads ( DFSClient和Datanode在同一个节点)还是Remote Reads ( DFSClient和Datanode不在同一个节点), 底层处理方式都是一样的,都 阅读全文
posted @ 2023-02-17 15:49 百衲本 阅读(381) 评论(0) 推荐(0) 编辑
摘要:一、安全模式现象探究 1.1 关闭所有服务,使用命令单独启动服务 使用hdfs --daemon命令逐个进程启动集群,观察现象 1.首先启动namenode stop-all.sh jps hdfs --daemon start namenode jps hadoop fs -ls / #使用ls浏 阅读全文
posted @ 2023-02-17 15:11 百衲本 阅读(379) 评论(0) 推荐(0) 编辑
摘要:一、数据迁移使用场景 1.冷热集群数据同步、分类存储 2.整体数据整体搬迁 3.数据准实时同步(备份) 二、考量因素 1.网络传输带宽及时间,是否会影响现有业务 2.性能,单机?多线程?分布式? 3.是否正常增量同步 4.数据迁移的同步性(同步单位时间数据超过单位时间) 三、DistCp工具使用 3 阅读全文
posted @ 2023-02-17 15:03 百衲本 阅读(1151) 评论(0) 推荐(0) 编辑
摘要:一、Hadoop 简介 1.1 Hadoop3核心组件 HDFS:分布式文件系统:解决海量数据存储 YARN:集群资源管理和任务调度框架:解决资源任务调度 MapReduce:分布式计算框架:解决海量数据计算 1.2 Hadoop集群简介 Hadoop集群包括两个集群:HDFS YARN 两个集群 阅读全文
posted @ 2023-02-17 14:52 百衲本 阅读(47) 评论(0) 推荐(0) 编辑
摘要:一、安装编译相关依赖 此篇文档及Hadoop相关文档相关软件包统一在此百度网盘: 链接:https://pan.baidu.com/s/11F4THdIfgrULMn2gNcObRA?pwd=cjll yum install snappy snappy-devel bzip2 bzip2-devel 阅读全文
posted @ 2023-02-17 14:26 百衲本 阅读(73) 评论(0) 推荐(0) 编辑
摘要:一、获取认证token 由于我是docker,这里我只演示docker方式,其他方式类似 docker exec -it jms_core /bin/bash #进入core 服务 cd /opt/jumpserver/apps python manage.py shell from users.m 阅读全文
posted @ 2023-02-14 16:20 百衲本 阅读(855) 评论(0) 推荐(0) 编辑
摘要:一、前置条件 提前安装MongoDB 二、YAML文件 namespace 自行替换 Deployment.yaml apiVersion: apps/v1 kind: Deployment metadata: name: yapi namespace: ops-share labels: app: 阅读全文
posted @ 2023-02-13 10:44 百衲本 阅读(199) 评论(0) 推荐(0) 编辑
摘要:一、Json数据格式化(readJSON) # 建议使用def response = readJSON text: "${scanResult}" println(scanResult) //以下为原生方法。不建议使用 import groovy.json.* @NonCPS def GetJson 阅读全文
posted @ 2023-02-11 19:18 百衲本 阅读(321) 评论(1) 推荐(0) 编辑
摘要:一、添加AnsiColor插件 二、查看插件语法 1.打开任意pipline项目配置,找到流水线语法,并点击 跳转连接,选择插件,查看帮助 三、修改sharelibrary脚本,优化打印方法 package org.devops //格式化输出 def PrintMes(value,color){ 阅读全文
posted @ 2023-02-11 17:33 百衲本 阅读(560) 评论(0) 推荐(0) 编辑
摘要:一、目录结构 共享库的目录结构如下: (root) +- src # Groovy source files | +- org | +- foo | +- Bar.groovy # for org.foo.Bar class +- vars | +- foo.groovy # for global 阅读全文
posted @ 2023-02-11 17:00 百衲本 阅读(1516) 评论(0) 推荐(0) 编辑
摘要:一、Pipeline概念 1 node/agent(节点) 节点是一个机器,可以是Jenkins的master节点也可以是slave节点。通过node指定当前job运行的机器(这个是脚本式语法)。 参数: . any 在任何可用的节点上执行pipeline。 . none 没有指定agent的时候默 阅读全文
posted @ 2023-02-07 23:11 百衲本 阅读(665) 评论(0) 推荐(0) 编辑
摘要:一、环境配置 [root@sdp-dev ~]# getenforce Disabled [root@sdp-dev ~]# systemctl stop firewalld.service # 修改字符集,否则可能报 input/output error的问题,因为日志里打印了中文 [root@s 阅读全文
posted @ 2023-02-03 16:46 百衲本 阅读(180) 评论(0) 推荐(0) 编辑
摘要:一、环境及要求 环境:CentOS Linux 7.9 jumpserver v2.28.6 要求 Linux Kernel: >= 4.0 MySQL: >= 5.7 #官方使用MariaDB 10.6 对照MySQL8.0 Redis: >= 5.0 #不支持cluster模式 官方使用Redi 阅读全文
posted @ 2023-02-03 16:44 百衲本 阅读(1299) 评论(0) 推荐(0) 编辑
摘要:连接Mysql时报javax.net.ssl.SSLHandshakeException No appropriate protocol (protocol is disabled or cipher suites are inappropriate)错误 报错如下 [RX2]-ERROR-[202 阅读全文
posted @ 2023-02-01 17:15 百衲本 阅读(227) 评论(0) 推荐(0) 编辑
摘要:一、前言 JDK的奇数版本和偶数版本有什么区别 每次去Oracle官网去下载JDK,就会发现有两个版本,一个基数版本,一个偶数版本。比如最新的jdk-8u321和jdk-8u322。这是咋回事? 这是官方对于奇数版本与偶数版本区别的解释: 从JDK版本7u71以后,JAVA将会在同一时间发布两个版本 阅读全文
posted @ 2023-02-01 11:42 百衲本 阅读(997) 评论(0) 推荐(0) 编辑

cnblogs_post_body { color: black; font: 0.875em/1.5em "微软雅黑" , "PTSans" , "Arial" ,sans-serif; font-size: 15px; } cnblogs_post_body h1 { text-align:center; background: #333366; border-radius: 6px 6px 6px 6px; box-shadow: 0 0 0 1px #5F5A4B, 1px 1px 6px 1px rgba(10, 10, 0, 0.5); color: #FFFFFF; font-family: "微软雅黑" , "宋体" , "黑体" ,Arial; font-size: 23px; font-weight: bold; height: 25px; line-height: 25px; margin: 18px 0 !important; padding: 8px 0 5px 5px; text-shadow: 2px 2px 3px #222222; } cnblogs_post_body h2 { text-align:center; background: #006699; border-radius: 6px 6px 6px 6px; box-shadow: 0 0 0 1px #5F5A4B, 1px 1px 6px 1px rgba(10, 10, 0, 0.5); color: #FFFFFF; font-family: "微软雅黑" , "宋体" , "黑体" ,Arial; font-size: 20px; font-weight: bold; height: 25px; line-height: 25px; margin: 18px 0 !important; padding: 8px 0 5px 5px; text-shadow: 2px 2px 3px #222222; } cnblogs_post_body h3 { background: #2B6695; border-radius: 6px 6px 6px 6px; box-shadow: 0 0 0 1px #5F5A4B, 1px 1px 6px 1px rgba(10, 10, 0, 0.5); color: #FFFFFF; font-family: "微软雅黑" , "宋体" , "黑体" ,Arial; font-size: 18px; font-weight: bold; height: 25px; line-height: 25px; margin: 18px 0 !important; padding: 8px 0 5px 5px; text-shadow: 2px 2px 3px #222222; } 回到顶部 博客侧边栏 回到顶部 页首代码 回到顶部 页脚代码
点击右上角即可分享
微信分享提示