01 2020 档案
摘要：有时在项目构建的过程中，我们需要根据用户的输入动态传入一些参数，从而影响整个构建结果，这时我们可以使用参数化构建。Jenkins支持非常丰富的参数类型 接下来演示通过输入 gitlab项目的分支名称来部署不同分支项目。 改动 pipeline流水线代码 项目创建分支，并推送到Gitlab上 新建分支
阅读全文
摘要：轮询SCM可以实现Gitlab代码更新，项目自动构建，但是 该方案的性能不佳。那有没有更好的方案呢？ 有的。就是利用Gitlab的webhook实现代码push到仓库，立即触发项目自动构建。 安装Gitlab Hook插件需要安装两个插件：Gitlab Hook和GitLab Jenkins设置自动
阅读全文
摘要：Gitlab提交Push events后，和Jenkins进行交互的时候报错 解决： Manage Jenkins->Configure System 测试：
阅读全文
摘要：Jenkins内置4种构建触发器： 触发远程构建 其他工程构建后触发（ Build after other projects are build） 定时构建（ Build periodically） 轮询 SCM（Poll SCM） 触发远程构建 其他工程构建后触发1）创建pre_job流水线工程
阅读全文
摘要：当搭建集群的时候，最好就要服务器之间的时间是同步的，于是就动手试了一下。 时间服务器作用： 大数据产生与处理系统是各种计算设备集群的，计算设备将统一、同步的标准时间用于记录各种事件发生时序， 如E-MAIL信息、文件创建和访问时间、数据库处理时间等。 大数据系统内不同计算设备之间控制、计算、处理、应
阅读全文
摘要：可以用2个插件进行通知 注意：当2个插件都安装的时候，必须要多配置，不然只有DingTalk不起作用 首先要有一个钉钉的群，添加智能机器人 在 系统管理 > 系统设置 > 钉钉配置 中添加机器人 在项目配置页面中勾选机器人 因为我装了2个插件，随便配置一下自定义的信息 [root@hadoop001
阅读全文
摘要：安装Email Extension插件 Jenkins设置邮箱相关参数Manage Jenkins->Configure System 设置邮件参数 设置Jenkins默认邮箱信息 准备邮件内容在项目根目录编写email.html，并把文件推送到Gitlab，内容如下： post { always
阅读全文
摘要：问题如下： 查找原因： [root@localhost k8s1.15.1-master]# journalctl -f -u kubelet -- Logs begin at 三 2020-01-29 10:32:33 CST. -- 1月 29 13:22:09 k8s1 kubelet[954
阅读全文
摘要：centos7 deploy_Kubernetes-v1.15.1 后续脚本更新统一由kkitDeploy项目持续更新相应脚本 请移步至kkitDeploy项目 https://github.com/luckman666/kkitdeploy_server #####################
阅读全文
摘要：Pipeline简介1 ）概念Pipeline，简单来说，就是一套运行在 Jenkins 上的工作流框架，将原来独立运行于单个或者多个节点的任务连接起来，实现单个任务难以完成的复杂流程编排和可视化的工作。2）使用Pipeline有以下好处（来自翻译自官方文档）：代码：Pipeline以代码的形式实现
阅读全文
摘要：1）安装Maven Integration插件 2 ）创建Maven项目 3 ）配置项目拉取代码和远程部署的过程和自由风格项目一样，只是"构建"部分不同 开始构建 查看tomcat
阅读全文
摘要：Jenkins构建的项目类型介绍Jenkins中自动构建项目的类型有很多，常用的有以下三种：自由风格软件项目（FreeStyle Project）Maven 项目（Maven Project）流水线项目（ Pipeline Project） 每种类型的构建其实都可以完成一样的构建过程与结果，只是在操
阅读全文
摘要：在Jenkins集成服务器上，我们需要安装Maven来编译和打包项目。安装Maven先上传Maven软件到Jenkins服务器 tar -xzf apache-maven-3.6.2-bin.tar.gz 配置环境变量vi /etc/profile export MAVEN_HOME=/opt/mo
阅读全文
摘要：凭据可以用来存储需要密文保护的数据库密码、Gitlab密码信息、Docker私有仓库密码等，以便Jenkins可以和这些第三方的应用进行交互。安装Credentials Binding插件要在Jenkins使用凭证管理功能，需要安装Credentials Binding插件 安装插件后，左边多了"凭
阅读全文
摘要：Gitlab添加组、创建用户、创建项目1）创建组使用管理员 root 创建组，一个组里面可以有多个项目分支，可以将开发添加到组里面进行设置权限，不同的组就是公司不同的开发项目或者服务模块，不同的组添加不同的开发即可实现对开发设置权限的管理 2）创建用户创建用户的时候，可以选择Regular或Admi
阅读全文
摘要：手动部署GitLab环境 完成以下操作，手动部署GitLab环境： 安装依赖包。 sudo yum install -y curl policycoreutils-python openssh-server 设置SSH开机自启动并启动SSH服务。 sudo systemctl enable sshd
阅读全文
摘要：SonaQube简介 SonarQube 是一个用于管理代码质量的开放平台，可以快速的定位代码中潜在的或者明显的错误。目前支持java,C#,C/C++,Python,PL/SQL,Cobol,JavaScrip,Groovy等二十几种编程语言的代码质量管理与检测。官网： https://www.s
阅读全文
摘要：启动postfix的时候报错： [root@hadoop002 tmp]# systemctl enable postfix && systemctl start postfix Job for postfix.service failed because the control process e
阅读全文
摘要：发现CPU直接100% [root@hadoop002 tmp]# systemctl status 25177 ● session-5772.scope - Session 5772 of user root Loaded: loaded (/run/systemd/system/session-
阅读全文
摘要：我们可以利用Role-based Authorization Strategy 插件来管理Jenkins用户权限安装Role-based Authorization Strategy插件 开启权限全局安全配置 创建角色在系统管理页面进入 Manage and Assign Role Global r
阅读全文
摘要：Jenkins插件管理 Jenkins本身不提供很多功能，我们可以通过使用插件来满足我们的使用。例如从Gitlab拉取代码，使用Maven构建项目等功能需要依靠插件完成。接下来演示如何下载插件。修改Jenkins插件下载地址Jenkins国外官方插件地址下载速度非常慢，所以可以修改为国内插件地址：J
阅读全文
摘要：root@hadoop001 sysconfig]# systemctl start jenkins Job for jenkins.service failed because the control process exited with error code. See "systemctl s
阅读全文
摘要：1. 日志的概念 1.1 日志文件日志文件是用于记录系统操作事件的文件集合，可分为事件日志和消息日志。具有处理历史数据、诊断问题的追踪以及理解系统的活动等重要作用。在计算机中，日志文件是记录在操作系统或其他软件运行中发生的事件或在通信软件的不同用户之间的消息的文件。记录是保持日志的行为。在最简单的情
阅读全文
摘要：JetBrains Mono 官方地址： https://www.jetbrains.com/lp/mono/ 特地去了下 JetBrains Mono 官网，看起来还是挺舒适的： 并且，从 2019.3 版本开始，JetBrains Mono 字体将随 JetBrains 系列 IDEs 一起提供
阅读全文
摘要：配置HADOOP_HOME和配置Path环境变量环境变量 创建一个Maven工程 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</version
阅读全文
摘要：灰度发布定义灰度发布是指在黑与白之间，能够平滑过渡的一种发布方式。在其上可以进行A/B testing，即让一部分用户继续用产品特性A，一部分用户开始用产品特性B，如果用户对B没有什么反对意见，那么逐步扩大范围，把所有用户都迁移到B上面来。 Apollo实现的功能1. 对于一些对程序有比较大影响的配
阅读全文
摘要：创建项目 pom.xml <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter</artifactId> <exclusions> <exclus
阅读全文
摘要：设计实现 在配置中心中，一个重要的功能就是配置发布后实时推送到客户端。 上图简要描述了配置发布的主要过程：1. 用户在Portal操作配置发布2. Portal调用Admin Service的接口操作发布3. Admin Service发布配置后，发送ReleaseMessage给各个Config
阅读全文
摘要：Apollo工作原理下图是Apollo架构模块的概览 各模块职责上图简要描述了Apollo的总体设计，我们可以从下往上看：Config Service提供配置的读取、推送等功能，服务对象是Apollo客户端 Admin Service提供配置的修改、发布等功能，服务对象是Apollo Portal（
阅读全文
摘要：一、准备工作 1.1 Java Apollo服务端：1.8+ Apollo客户端：1.7+ 由于Quick Start会在本地同时启动服务端和客户端，所以需要在本地安装Java 1.8+。 在配置好后，可以通过如下命令检查： java -version 样例输出： java version "1.8
阅读全文
摘要：1 概览1.1 什么是配置应用程序在启动和运行的时候往往需要读取一些配置信息，配置基本上伴随着应用程序的整个生命周期，比如：数据库连接参数、启动参数等。配置主要有以下几个特点：配置是独立于程序的只读变量 配置首先是独立于程序的，同一份程序在不同的配置下会有不同的行为 其次，配置对于程序是只读的，程序
阅读全文
摘要：jar包安装 注意：所有操作必须在root用户下完成 1 JDK解压、配置环境变量 JAVA_HOME和PATH，验证java-version(如下都需要验证是否配置成功) [root@192 opt]# mkdir /opt/module/ [root@192 opt]# tar -zxf jdk
阅读全文
摘要：1．基本语法 bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实现类。 2．命令大全 [root@hadoop002 hadoop-2.7.2]# hdfs dfs Usage: hadoop fs [generic options] [-appendT
阅读全文
摘要：HDFS产出背景及定义 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDF
阅读全文
摘要：集群配置 1. 集群部署规划 表2-3 hadoop002 hadoop003 hadoop004 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager NodeMana
阅读全文
摘要：无密钥配置 （1）免密登录原理，如图所示 （2）生成公钥和私钥： [root@hadoop003 .ssh]# ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key
阅读全文
摘要：手上有4台阿里云，正好可以搭建集群，就要把刚刚配置的单节点的数据拷贝过去。 编写集群分发脚本xsync 1. scp（secure copy）安全拷贝 （1）scp定义： scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2） （2）基本语法 Linux sc
阅读全文
摘要：1 启动HDFS并运行MapReduce程序 a）配置：hadoop-env.sh Linux系统中获取JDK的安装路径： [root@hadoop001 hadoop-2.7.2]# echo $JAVA_HOME /opt/module/jdk1.8.0_144 [root@hadoop001
阅读全文
摘要：具体的官网链接为：https://hadoop.apache.org/docs/r2.10.0/hadoop-project-dist/hadoop-common/SingleCluster.html 官方Grep案例 [root@iZbp1efx14jd8471u20gpaZ hadoop-2.7
阅读全文
摘要：1、横向流程图源码格式： ```mermaid graph LR A[方形] -->B(圆角) B --> C{条件a} C -->|a=1| D[结果1] C -->|a=2| E[结果2] F[横向流程图] ``` 2、竖向流程图源码格式： ```mermaid graph TD A[方形] -
阅读全文
摘要：简介 主要记录了Hadoop各个组件的基本原理，处理过程和关键的知识点等，包括HDFS、YARN、MapReduce等。 铺垫 人产生数据的速度越来越快，机器则更加快，more data usually beats better algorithms，所以需要另外的一种处理数据的方法。 硬盘的容量增
阅读全文
摘要：Python的装饰器和Java的代理差不多，也类似AOP切面，就是在方法的前面做点事情，但是要有Python的闭包基础，返回的是一个函数。 一 先键2个基础函数 # 创建几个函数 def add(a , b): ''' 求任意两个数的和 ''' r = a + b return r def mul(
阅读全文
摘要：Python 正则表达式 正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。 Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。 re 模块使 Python 语言拥有全部的正则表达式功能。 compile 函数根据一个模式字符串和可
阅读全文
摘要：debug代码报错： pydev debugger: process 13108 is connectingProcess finished with exit code -1073741819 (0xC0000005) 原因很简单: 在setting 里面 debug 选项中的 ，pyqt com
阅读全文
摘要：准备用Mycat玩会，于是准备安装Mysql数据库，结果报错了。 FATAL ERROR: please install the following Perl modules before executing ./scripts/mysql_install_db: 解决： [root@node2 s
阅读全文
摘要：Mycat 是数据库中间件1 数据库中间件中间件：是一类连接软件组件和应用的计算机软件，以便于软件各部件之间的沟通。例子：Tomcat，web中间件。数据库中间件：连接java应用程序和数据库2 为什么要用Mycat ？① Java与数据库紧耦合。② 高访问量高并发对数据库的压力。③ 读写请求数据不
阅读全文
摘要：假如再一个函数中要来过滤东西，不知道lambda表达式的时候，比较复杂 def fn2(i): if i %2 ==0: return False return True l = [1,2,3,4,5,6,7,8,9,10] def fn(func, lst): ''' fn()函数可以将指定列表中
阅读全文
摘要：现象: [root@master kube-prometheus]# kubectl get namespaces -o wide NAME STATUS AGE cattle-logging Active 174m cattle-prometheus Active 12h cattle-syste
阅读全文
摘要：1 递归函数的特点 特点 一个函数 内部 调用自己 函数内部可以调用其他函数，当然在函数内部也可以调用自己 代码特点 函数内部的 代码 是相同的，只是针对 参数 不同，处理的结果不同 当 参数满足一个条件 时，函数不再执行 这个非常重要，通常被称为递归的出口，否则 会出现死循环！ 示例代码 def
阅读全文
摘要：1. What's Rancher？ Rancher是一套容器管理平台，它可以帮助组织在生产环境中轻松快捷的部署和管理容器。 Rancher可以轻松地管理各种环境的Kubernetes，满足IT需求并为DevOps团队提供支持。 Kubernetes不仅已经成为的容器编排标准，它也正在迅速成为各类云
阅读全文
摘要：一、校验数字的表达式 数字：^[0-9]*$ n位的数字：^\d{n}$ 至少n位的数字：^\d{n,}$ m-n位的数字：^\d{m,n}$ 零和非零开头的数字：^(0|[1-9][0-9]*)$ 非零开头的最多带两位小数的数字：^([1-9][0-9]*)+(\.[0-9]{1,2})?$ 带1
阅读全文
摘要：Maven 构建生命周期 Maven 构建生命周期定义了一个项目构建跟发布的过程。 一个典型的 Maven 构建（build）生命周期是由以下几个阶段的序列组成的： 阶段处理描述 验证 validate 验证项目 验证项目是否正确且所有必须信息是可用的 编译 compile 执行编译 源代码编译在此
阅读全文
摘要：常用快捷键 快捷键功能 Ctrl + Q 快速查看文档 Ctrl + F1 显示错误描述或警告信息 Ctrl + / 行注释（可选中多行） Ctrl + Alt + L 代码格式化 Ctrl + Alt + O 自动导入 Ctrl + Alt + I 自动缩进 Tab / Shift + Tab 缩
阅读全文
摘要：本文转自公众号：Java技术栈微信公众号 1 数据库引擎不支持事务 这里以 MySQL 为例，其 MyISAM 引擎是不支持事务操作的，InnoDB 才是支持事务的引擎，一般要支持事务都会使用 InnoDB。 根据 MySQL 的官方文档： https://dev.mysql.com/doc/ref
阅读全文
摘要：准备配置文件及镜像，由于镜像在线下载，需要**上网，所以直接用尚硅谷的 [root@k8s-master ~]# ll 总用量 279904 -rw . 1 root root 1731 12月 18 00:07 anaconda-ks.cfg -rw-r--r--. 1 root root 177
阅读全文
摘要：找到问题了，是版本的问题，当15.1的时候发现可以，16.1的时候就出现问题了。 第一种，用helm安装 helm repo update Hang tight while we grab the latest from your chart repositories... ...Skip loca
阅读全文
摘要：什么是 Helm在没使用 helm 之前，向 kubernetes 部署应用，我们要依次部署 deployment、svc 等，步骤较繁琐。况且随着很多项目微服务化，复杂的应用在容器中部署以及管理显得较为复杂，helm 通过打包的方式，支持发布的版本管理和控制，很大程度上简化了 Kubernetes
阅读全文
摘要：[root@k8s-master bin]# kubectl get pod -n kube-system NAME READY STATUS RESTARTS AGE coredns-58cc8c89f4-9gn5g 1/1 Running 11 17d coredns-58cc8c89f4-xx
阅读全文
摘要：函数基础 01. 函数的快速体验 1.1 快速体验 所谓函数，就是把 具有独立功能的代码块 组织为一个小模块，在需要的时候 调用 函数的使用包含两个步骤： 定义函数 —— 封装 独立的功能 调用函数 —— 享受 封装 的成果 函数的作用，在开发程序时，使用函数可以提高编写的效率以及代码的 重用 演练
阅读全文
摘要：K8s在helm初始化的报错，我的k8s为1.16.1，用的helm是2.13.1 [root@k8s-master ~]# helm init --service-account tiller --skip-refresh Creating /root/.helm Creating /root/.
阅读全文
摘要：准备go环境,由于我在github上下载，最新的代码，运行的时候报错 所以准备了1.13.4和github上最新的k8s代码 [root@k8s-master mnt]# go version go version go1.13.4 linux/amd64 [root@k8s-master mnt]
阅读全文
摘要：Python3 集合 集合（set）是一个无序的不重复元素序列。 可以使用大括号 { } 或者 set() 函数创建集合，注意：创建一个空集合必须用 set() 而不是 { }，因为 { } 是用来创建一个空字典。 创建格式： parame = {value01,value02,...} 或者 se
阅读全文
摘要：命名空间 先看看官方文档的一段话： A namespace is a mapping from names to objects.Most namespaces are currently implemented as Python dictionaries。 命名空间(Namespace)是从名称
阅读全文
摘要：目标 变量的引用 可变和不可变类型 局部变量和全局变量 01. 变量的引用 变量 和 数据 都是保存在 内存 中的 在 Python 中 函数 的 参数传递 以及 返回值 都是靠 引用 传递的 1.1 引用的概念 在 Python 中 变量 和 数据 是分开存储的 数据 保存在内存中的一个位置 变量
阅读全文
摘要：Facet种类 Solr的Facet有多种形式，它们的参数不尽相同。 Filed-Value Facet 可以用于Text或者String类型的字段。 参数说明 facet.field 需要做facet查询的字段，必须指定，否则其他参数无效 facet.sort 排序规则，可以是count（默认值，
阅读全文
摘要：1 字典的定义 dictionary（字典） 是 除列表以外 Python 之中 最灵活 的数据类型 字典同样可以用来 存储多个数据 通常用于存储 描述一个 物体 的相关信息 和列表的区别 列表 是 有序 的对象集合 字典 是 无序 的对象集合 字典用 {} 定义 字典使用 键值对 存储数据，键值对
阅读全文
摘要：学完元组就相当于Java的 1 元组的定义 Tuple（元组）与列表类似，不同之处在于元组的 元素不能修改 元组 表示多个元素组成的序列 元组 在 Python 开发中，有特定的应用场景 用于存储 一串 信息，数据 之间使用 , 分隔 元组用 () 定义 元组的 索引 从 0 开始 索引 就是数据在
阅读全文
摘要：1 Python 内置函数 Python 包含了以下内置函数： 函数描述备注 len(item) 计算容器中元素个数 del(item) 删除变量 del 有两种方式 max(item) 返回容器中元素最大值 如果是字典，只针对 key 比较 min(item) 返回容器中元素最小值 如果是字典，只
阅读全文
摘要：学完Python的列表就相当于Java的List 1 列表简介 1.1 列表的定义 List（列表） 是 Python 中使用 最频繁 的数据类型，在其他语言中通常叫做 数组 专门用于存储 一串 信息 列表用 [] 定义，数据 之间使用 , 分隔 列表的 索引 从 0 开始 索引 就是数据在 列表
阅读全文
