09 2021 档案

第七章 Jenkins常见报错
摘要：##一、常见报错一 1.常见报错之升级版本重启报错 今天有点心血来潮，看到管理中有一个新版本提示，可以直接点击自动升级，就把jenkins自动升级了，重启之后就直接爆炸进不去 2.解决方法 #1.下载hpi文件，并将其放到/var/lib/jenkins/plugins/文件夹.。 Role str 阅读全文
posted @ 2021-09-29 15:32 年少纵马且长歌 阅读(253) 评论(0) 推荐(0)
第八章 kuberneters核心技术-Pod
摘要：一、 kubernetes带来的变革 1. 对于开发人员 由于公司业务多，开发环境、测试环境、预生产环境和生产环境都是隔离的，而且除了生产环境，为了节省成本，其他环境可能是没有日志收集的，在没有用k8s的时候，查看线下测试的日志，需要开发或者测试人员，找到对应的机器，在找到对应的容器，然后才能查看日 阅读全文
posted @ 2021-09-28 16:19 年少纵马且长歌 阅读(267) 评论(0) 推荐(1)
第七章 kubernetes 集群命令行工具 kubectl
摘要：一、kubectl概述 kubectl 是 Kubernetes 集群的命令行工具，通过 kubectl 能够对集群本身进行管理，并能够在集群上进行容器化应用的安装部署。Kubectl的配置文件在$HOME/.kube目录。我们可以通过设置KUBECONFIG环境变量或设置命令参数--kubecon 阅读全文
posted @ 2021-09-28 09:50 年少纵马且长歌 阅读(470) 评论(1) 推荐(0)
第六章 kuberneters集群YAML文件详解
摘要：一、YAML 文件概述 Kubernetes只支持YAML和JSON格式创建资源对象 JSON格式用于接口之间消息的传递，YAML格式用于配置和管理 YAML是专门用来写配置文件的语言，非常简洁和强大，使用比json更方便。它实质上是一种通用的数据串行化格式。 k8s 集群中对资源管理和资源对象编排 阅读全文
posted @ 2021-09-24 10:40 年少纵马且长歌 阅读(414) 评论(0) 推荐(0)
第五章 kubernetes常见故障排错
摘要：一、kubernetes服务没找到 #报错： no server found for cluster "kubernetes" #因为在master上面建立的 kube-proxy.kubeconfig 不对，忘记了： export KUBE_APISERVER="https://172.16.1. 阅读全文
posted @ 2021-09-23 16:39 年少纵马且长歌 阅读(1953) 评论(0) 推荐(0)
第二十五章 Centos7下二进制安装Mysql-5.7.34
摘要：一、创建软件存放目录 (base) [root@mcmanager ~]# mkdir -p /data/software/ (base) [root@mcmanager ~]# cd /data/software/ 二、下载软件包 #1.下载软件包 (base) [root@mcmanager s 阅读全文
posted @ 2021-09-23 15:22 年少纵马且长歌 阅读(390) 评论(0) 推荐(0)
第二十四章 MySQL导入数据常见报错解决
摘要：一、数据表有外键 #1.报错信息 [root@dxg-ml mysql-3306.bak]# mysql -P 13306 -u root -p < ./airflow.sql Enter password: ERROR 1824 (HY000) at line 18: Failed to open 阅读全文
posted @ 2021-09-23 15:21 年少纵马且长歌 阅读(580) 评论(0) 推荐(0)
第二十三章 Centos7 下 Mysql 8.0.24编译安装
摘要：一、需求 公司由于安装jira服务，mariadb数据库已不能满足jira的使用，因此需安装新的mysql8.0，迁移mariadb的数据来保证jira的正常安装。 二、准备工作 #准备工作 下面是安装要求，已安装的可以跳过。 cmake boost gcc ncurses openssl biso 阅读全文
posted @ 2021-09-23 15:20 年少纵马且长歌 阅读(1639) 评论(0) 推荐(0)
第二十二章 Centos7下 Mysql 8.0.24 二进制安装
摘要：一、需求 公司由于安装jira服务，mariadb数据库已不能满足jira的使用，因此需安装新的mysql8.0，迁移mariadb的数据来保证jira的正常安装。 二、准备工作 #关闭防火墙 [root@dxg-ml ~]# systemctl stop firewalld.service 三、安 阅读全文
posted @ 2021-09-23 15:18 年少纵马且长歌 阅读(322) 评论(0) 推荐(0)
第二十一章 MySQL数据库优化
摘要：一、数据硬件优化（选型） 1.数据库选择 1.真实的硬件物理机，虚拟化，搭建数据库 2.云服务器ECS，自己搭建数据库 3.云数据库（RDS，DRDS） 2.数据库类型 1.OLTP 在线事务处理系统，支持大量的并发用户修改数据 2.OLAP 数据仓库，数据展示，数据的分析（非关系型数据库） 3.硬 阅读全文
posted @ 2021-09-23 15:16 年少纵马且长歌 阅读(187) 评论(0) 推荐(0)
第二十章 MySQL的VIP漂移和Atlas
摘要：一、数据库VIP漂移 1.VIP漂移的两种方式 1.通过keepalived的方式 2.使用MHA自带的脚本 2.配置MHA脚本 [root@db03 ~]# vim /service/mha/app1.cnf [server default] master_ip_failover_script=/ 阅读全文
posted @ 2021-09-23 15:15 年少纵马且长歌 阅读(321) 评论(0) 推荐(0)
第十九章 MHA高可用(续)
摘要：一、回顾 1.MHA原理 2.MHA安装 1.安装依赖 2.安装node节点 3.安装manager节点 4.编写配置文件 [root@db03 ~]# vim /service/mha/app1.cnf [server default] manager_log=/service/mha/manag 阅读全文
posted @ 2021-09-23 15:13 年少纵马且长歌 阅读(103) 评论(0) 推荐(0)
第四章 Centos7下部署Kubernetes的Dashboard-2.1.0
摘要：一、简介 Dashboard 是基于网页的 Kubernetes 用户界面。您可以使用 Dashboard 将容器应用部署到 Kubernetes 集群中，也可以对容器应用排错，还能管理集群本身及其附属资源。您可以使用 Dashboard 获取运行在集群中的应用的概览信息，也可以创建或者修改 Kub 阅读全文
posted @ 2021-09-23 09:35 年少纵马且长歌 阅读(449) 评论(0) 推荐(0)
第三章 Centos7下二进制安装Kubernetes-1.18.8
摘要：一、 部署系统版本 软件 版本 CentOS CentOS Linux release 7.9.1908 (Core) Docker 20.10.2 Kubernetes v1.18.8 Flannel V0.13.1 Kernel-lm kernel-lt-5.4.145-1.el7.elrepo 阅读全文
posted @ 2021-09-23 09:30 年少纵马且长歌 阅读(855) 评论(0) 推荐(0)
第一章 Kubernetes入门
摘要：一、Kubernetes基本概述 kubernetes，简称 K8s，是用 8 代替 8 个字符“ubernete”而成的缩写。是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes 的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes 提供了应用部 阅读全文
posted @ 2021-09-14 18:42 年少纵马且长歌 阅读(227) 评论(3) 推荐(0)
第十三章 Docker图形化工具
摘要：一.Docker图形化工具 Docker图形页面管理工具常用的，DockerUI，Portainer，Shipyard。DockerUI是Portainer的前身，这三个工具通过docker api来获取管理的资源信息。平时我们常常对着shell对着这些命令行客户端，审美会很疲劳，如果有漂亮的图形化 阅读全文
posted @ 2021-09-14 11:35 年少纵马且长歌 阅读(178) 评论(0) 推荐(0)
第十二章 Dockerfile安装lnmp环境
摘要：一、环境配置 环境配置 操作系统：CentOS Linux release 7.6.1810 Docker 版本：20.10.2 Nginx 版本：1.18.0 PHP 版本：7.4.14 MySQL 版本：8.0.18 Redis 版本：6.0.9 二、架构预想 #1.端口 - 80 - 443 阅读全文
posted @ 2021-09-14 11:28 年少纵马且长歌 阅读(200) 评论(0) 推荐(0)
第十一章 Dockerfile构建镜像
摘要：一、Dockerfile含义 Dockerfile 由一行行命令语句组成， 并且支持以＃开头的注释行。一般而言， Dockerfile 主体内容分为四部分：基础镜像信息、 维护者信息、 镜像操作指令和容器启动时执行指令。 #1.Dockerfile是什么？ 构建镜像所使用的指令配置文件 #2.Doc 阅读全文
posted @ 2021-09-14 11:20 年少纵马且长歌 阅读(324) 评论(0) 推荐(0)
第十章 Docker网络
摘要：一、Docker网络概述 Docker作为目前最火的轻量级容器技术，牛逼的功能，如Docker的镜像管理，不足的地方网络方面。Docker本身的技术依赖于Linux内核虚拟化技术的发展。所以Docker对Linux内核的特性有很强的依赖。 二、Docker网络原理 不同的网络名称空间内，是一个相对独 阅读全文
posted @ 2021-09-14 09:42 年少纵马且长歌 阅读(370) 评论(0) 推荐(0)
第九章 Docker仓库的使用
摘要：仓库（Repository）是集中存放镜像的地方。 #1.常用官方仓库：Docker Hub，目前 Docker 官方维护了一个公共仓库 Docker Hub。 #2.常用私有仓库：Registry、Harbor 一、Docker公有仓库登录 大部分需求都可以通过在 Docker Hub 中直接下载 阅读全文
posted @ 2021-09-13 16:20 年少纵马且长歌 阅读(108) 评论(0) 推荐(0)
第八章 Docker容器的使用
摘要：一、容器的创建 容器是指Docker对外提供服务的一个实例。 #1.创建容器的格式： docker run [option] image [cmd] #2.示例 [root@m01 ~]# docker run -d --name nginx -p 80:80 nginx 87594f40bacdc 阅读全文
posted @ 2021-09-13 16:17 年少纵马且长歌 阅读(149) 评论(0) 推荐(0)
第七章 Docker镜像的使用
摘要：Docker镜像是Docker中三大概念之一，其主要作用是作为启动容器的模板。 一、下载镜像 #1.含义 镜像是运行容器的模板，官方Docker Hub 仓库已经提供了许多镜像共开发者使用。如果我们需要获取某个镜像则可以去Docker仓库下载所需的镜像。 #2.格式： docker pull [指定 阅读全文
posted @ 2021-09-13 14:17 年少纵马且长歌 阅读(458) 评论(0) 推荐(0)
第六章 Ubuntu上安装Docker
摘要：Ubuntu操作系统对Docker的支持十分成熟，可以支持包括x86_64、armhf等系统架构，只要是64位即可。 Docker目前支持最低Ubuntu版本为14.04LTS，但实际上从稳定性上考虑，推荐使用16.04LTS 或18.04LTS版本，并且系统内核越新越好，以支持Docker最新的特 阅读全文
posted @ 2021-09-13 13:32 年少纵马且长歌 阅读(215) 评论(0) 推荐(0)
第五章 Centos7下安装Docker-20.10.2
摘要：一、查看系统内核版本号 1.查看系统内核版本号 [root@m01 ~]# uname -a Linux m01 3.10.0-957.el7.x86_64 #1 SMP Thu Nov 8 23:39:32 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux 2.备份原 阅读全文
posted @ 2021-09-13 12:20 年少纵马且长歌 阅读(737) 评论(0) 推荐(0)
第四章 Docker入门
摘要：一、背景 为了完成那些不愉快或者平庸的任务，你也会喜欢只做必需之事。这可能是因为你同样喜欢使用一个简单易用的工具，来解决那些复杂或费时的工作。 假设你想尝试一款新的Linux 软件，但是担心运行起来的是恶意代码。为了保护你的机器，在 Docker 中运行该软件是很好的第一步。因为Docker 可以帮 阅读全文
posted @ 2021-09-13 12:10 年少纵马且长歌 阅读(103) 评论(0) 推荐(0)
第二十九章 Hadoop综合调优
摘要：一、Hadoop小文件优化方法 1.Hadoop小文件弊端 HDFS上每个文件都要在NameNode上创建对应的元数据，这个元数据的大小约为150byte，这样当小文件比较多的时候，就会产生很多的元数据文件，一方面会大量占用NameNode的内存空间，另一方面就是元数据文件过多，使得寻址索引速度变慢 阅读全文
posted @ 2021-09-10 17:20 年少纵马且长歌 阅读(144) 评论(0) 推荐(0)
第二十八章 Hadoop-Yarn生产经验
摘要：一、Resourcemanager相关 yarn.resourcemanager.scheduler.client.thread-count ResourceManager处理调度器请求的线程数量 yarn.resourcemanager.scheduler.class 配置调度器 二、Nodema 阅读全文
posted @ 2021-09-10 17:19 年少纵马且长歌 阅读(121) 评论(0) 推荐(0)
第二十七章 MapReduce生产经验
摘要：一、MapReduce跑的慢的原因 MapReduce程序效率的瓶颈在于两点： #1.计算机性能 CPU、内存、磁盘、网络 #2.I/O操作优化 1）数据倾斜 2）Map运行时间太长，导致Reduce等待过久 3）小文件过多 二、MapReduce常用调优参数 #1.自定义分区，减少数据倾斜; 定义 阅读全文
posted @ 2021-09-10 17:18 年少纵马且长歌 阅读(121) 评论(0) 推荐(0)
第二十六章 HDFS—集群迁移
摘要：一、 Apache和Apache集群间数据拷贝 #1.scp实现两个远程主机之间的文件复制 scp -r hello.txt root@hadoop103:/user/delopy/hello.txt // 推 push scp -r root@hadoop103:/user/delopy/hell 阅读全文
posted @ 2021-09-10 16:08 年少纵马且长歌 阅读(177) 评论(0) 推荐(0)
第二十五章 HDFS—故障排除
摘要：一、NameNode故障处理 1.需求 NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 2.故障模拟 #1.kill -9 NameNode进程 [delopy@hadoop102 current]$ kill -9 19886 #2.删除NameNode存储的数据（/op 阅读全文
posted @ 2021-09-09 12:18 年少纵马且长歌 阅读(287) 评论(0) 推荐(0)
第二十四章 HDFS—存储优化
摘要：注：演示纠删码和异构存储需要一共5台服务器。尽量拿另外一套集群。提前准备5台服务器的集群。 一、纠删码基本概述 1.纠删码原理 HDFS默认情况下，一个文件有3个副本，这样提高了数据的可靠性，但也带来了2倍的冗余开销。Hadoop3.x引入了纠删码，采用计算的方式，可以节省约50％左右的存储空间 2 阅读全文
posted @ 2021-09-09 12:14 年少纵马且长歌 阅读(323) 评论(0) 推荐(0)
第二十三章 HDFS—集群扩容及缩容
摘要：一、添加白名单 1.概述 白名单：表示在白名单的主机IP地址可以，用来存储数据。 企业中：配置白名单，可以尽量防止黑客恶意访问攻击。 2.具体配置 #1.在NameNode节点的/opt/module/hadoop/etc/hadoop目录下分别创建whitelist和blacklist文件 1）创 阅读全文
posted @ 2021-09-09 12:04 年少纵马且长歌 阅读(176) 评论(0) 推荐(0)
第二十二章 HDFS—多目录
摘要：一、NameNode多目录配置 1.概述 # NameNode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性 2.具体配置 #1.在hdfs-site.xml文件中添加如下内容 <property> <name>dfs.namenode.name.dir</name> <value> 阅读全文
posted @ 2021-09-09 11:43 年少纵马且长歌 阅读(121) 评论(0) 推荐(0)
第二十一章 HDFS—集群压测
摘要：一、压测准备 在企业中非常关心每天从Java后台拉取过来的数据，需要多久能上传到集群？消费者关心多久能从HDFS上拉取需要的数据？ 为了搞清楚HDFS的读写性能，生产环境上非常需要对集群进行压测。 HDFS的读写性能主要受网络和磁盘影响比较大。为了方便测试，将hadoop102、hadoop103、 阅读全文
posted @ 2021-09-09 11:40 年少纵马且长歌 阅读(197) 评论(0) 推荐(0)
第二十章 HDFS—核心参数调优
摘要：一、NameNode内存生产配置 #1.NameNode内存计算 每个文件块大概占用150byte，一台服务器128G内存为例，能存储多少文件块呢？ 128 * 1024 * 1024 * 1024 / 150Byte ≈ 9.1亿 G MB KB Byte #2.Hadoop2.x系列，配置Nam 阅读全文
posted @ 2021-09-08 15:10 年少纵马且长歌 阅读(318) 评论(0) 推荐(0)
第十九章 Yarn案例实操
摘要：一、 Yarn生产环境核心参数配置案例 #1.需求： 从1G数据中，统计每个单词出现次数。服务器3台，每台配置4G内存，4核CPU，4线程。 #2.需求分析： 1G / 128m = 8个MapTask；1个ReduceTask；1个mrAppMaster 平均每个节点运行10个 / 3台 ≈ 3个 阅读全文
posted @ 2021-09-08 11:25 年少纵马且长歌 阅读(453) 评论(0) 推荐(0)
第十八章 Yarn资源调度器
摘要：一、YARN概述 思考： 1）如何管理集群资源？ 2）如何给任务合理分配资源？ Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 二、YARN基础架构 YARN主要由ResourceMa 阅读全文
posted @ 2021-09-08 11:20 年少纵马且长歌 阅读(312) 评论(0) 推荐(0)
第十七章 Hadoop数据压缩
摘要：一、概述 #1.压缩的好处和坏处 压缩的优点：以减少磁盘IO、减少磁盘存储空间。 压缩的缺点：增加CPU开销。 #2.压缩原则 1）运算密集型的Job，少用压缩 2）IO密集型的Job，多用压缩 二、MR支持的压缩编码 1.压缩算法对比介绍 压缩格式 Hadoop自带？ 算法 文件扩展名 是否可切片 阅读全文
posted @ 2021-09-07 15:33 年少纵马且长歌 阅读(169) 评论(0) 推荐(0)
第十五章 Hadoop序列化
摘要：一、序列化含义 序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。 反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象。 二、序列化的背景 一般来说，“活的”对象只生存在内存里，关机断电就没有了。而且“活的”对 阅读全文
posted @ 2021-09-06 17:37 年少纵马且长歌 阅读(75) 评论(0) 推荐(0)
第十四章 MapReduce概述
摘要：一、MapReduce基本含义 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。 二、MapReduce优缺 阅读全文
posted @ 2021-09-06 16:51 年少纵马且长歌 阅读(208) 评论(0) 推荐(0)
第十三章 HDFS各组件机制
摘要：一、 NN和2NN工作机制 思考：NameNode中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生 阅读全文
posted @ 2021-09-06 14:30 年少纵马且长歌 阅读(182) 评论(0) 推荐(0)
第十二章 HDFS的读写流程
摘要：一、HDFS写数据流程 #1.客户端通过Distributed File System模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 #2.NameNode返回是否可以上传。 #3.客户端请求第一个 Block上传到哪几个DataNode服务器上。 #4 阅读全文
posted @ 2021-09-06 14:13 年少纵马且长歌 阅读(138) 评论(0) 推荐(0)
第十一章 HDFS的API操作
摘要：一、客户端环境准备 #1.下载Hadoop到Windows路径下的依赖文件夹，拷贝hadoop-3.1.0到非中文路径（比如d:\）。 #2.配置HADOOP_HOME环境变量 #3.配置Path环境变量。 注意：如果环境变量不起作用，可以重启电脑试试。 #4.验证Hadoop环境变量是否正常。双击 阅读全文
posted @ 2021-09-03 17:56 年少纵马且长歌 阅读(177) 评论(0) 推荐(0)
第十章 HDFS的Shell操作
摘要：一、基本语法 # hadoop fs 具体命令 或者 # hdfs dfs 具体命令 两个是完全相同的。 二、命令大全 [delopy@hadoop102 ~]$ hadoop fs [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <s 阅读全文
posted @ 2021-09-03 16:39 年少纵马且长歌 阅读(99) 评论(0) 推荐(0)
第九章 HDFS概述
摘要：一、HDFS产生的背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 二、HDFS的定义 HDFS（Hadoop Distr 阅读全文
posted @ 2021-09-03 12:22 年少纵马且长歌 阅读(89) 评论(0) 推荐(0)
第八章 Hadoop常见错误及解决方案
摘要：一、防火墙没关闭、或者没有启动YARN #1.报错信息： *INFO client.RMProxy: Connecting to ResourceManager at hadoop102/192.168.10.102:8032* #2.解决方案 1）关闭防火墙 2）重新启动YARN 二、主机名称配置 阅读全文
posted @ 2021-09-03 11:26 年少纵马且长歌 阅读(1368) 评论(0) 推荐(0)
第十七章 Nginx四层负载均衡
摘要：一、Nginx四层负载均衡概述 四层负载均衡是基于传输层协议包来封装的（如：TCP/IP），那我们前面使用到的七层是指的应用层，他的组装在四层的基础之上，无论四层还是七层都是指的OSI网络模型。 二、Nginx四层负载均衡应用场景 1.四层+七层来做负载均衡，四层可以保证七层的负载均衡的高可用性；n 阅读全文
posted @ 2021-09-02 22:02 年少纵马且长歌 阅读(1009) 评论(5) 推荐(0)
第三章 Mccann-DBH生产环境部署
摘要：一、系统优化 # 编写系统优化脚本 [ec2-user@172-31-10-33 ~]$ sudo su - [root@172-31-10-33 ~]$ vi linux_opt.sh #!/usr/bin/bash # Author:jh # Time:2020-12-11 09:03:19 # 阅读全文
posted @ 2021-09-02 21:29 年少纵马且长歌 阅读(102) 评论(0) 推荐(0)
第七章 Hadoop集群时间同步
摘要：一、概述 如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准； 如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。 二、需求 找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，生产环境 阅读全文
posted @ 2021-09-02 15:34 年少纵马且长歌 阅读(269) 评论(0) 推荐(0)
第六章 Hadoop常用脚本编写
摘要：一、Hadoop常用端口说明 端口名称 Hadoop2.x Hadoop3.x NameNode内部通信端口 8020 / 9000 8020 / 9000 / 9820 NameNode HTTP UI 50070 9870 MapReduce查看执行任务端口 8088 8088 历史服务器通信端 阅读全文
posted @ 2021-09-02 14:41 年少纵马且长歌 阅读(245) 评论(0) 推荐(0)
第五章 Centos下完全分布式部署Hadoop-3.3.1
摘要：一、Hadoop环境准备 1.集群规划 主机名 IP HDFS YARN hadoop102 10.0.0.102 NameNode、DataNode NodeManager hadoop103 10.0.0.103 DataNode、SecondaryNameNode NodeManager、Re 阅读全文
posted @ 2021-09-02 14:20 年少纵马且长歌 阅读(2809) 评论(0) 推荐(0)