简单说明
运维朋友大家好,自动化运维平台在很早以前,其实是大公司的专属,但是从此时此刻起,从蓝鲸智云自动化运维平台开源起,自动化平台就不再是大公司的专属,即使你是一个普通的运维工程师,或者你是一个普通的大学生,你都可以获取到它,部署它,你可以获取它的源码,可以去更改它,可以根据自身的实际情况去做一些适合自己企业的运维工具开发,当然你可以用它做很多事情,它的出现就是为了解决企业在自动化运维方面的短板,那么就让这一切的改变从此时此刻开始!
你做好准备啦吗?自动化运维的未来已经将要来临,你只有不断的进步,才能不被这个社会,这个行业淘汰,用好它,深入的了解它,你要始终记得你是站在企鹅的肩膀上去看这个运维世界的,那么就跟着我来一起完成这个充满乐趣的旅行吧!
我希望能将此开源软件进行普及,让更多的人加入进来,一起学习交流。
视频观看说明
请大家按照顺序进行教学视频的观看,视频内做实验所包含软件包,脚本,安装包,图片,等均以上传至百度云盘(若存在缺失,可以在评论区说明,我会及时更新)
链接: 下载地址 提取码: 175c
产品定位
蓝鲸智云工作台(一切的入口)
那么,就让研发,开发,测试,运维,运营,等相关人员都从蓝鲸智云工作台开始进行相互协作吧!
个人感悟
我有一个目标,也是运维的终极目标,实现真正的智能化运维,我知道实现它真的很难,但是目标还是要有的,万一实现了呢!
蓝鲸智云 加油!希望有生之年可以见证你,实现这个终极目标。
就让历史的年轮从此刻开始,那么就让我们作为这个历史见证人,从6.0.4版本开始(咔嚓,图片定格在此刻)
我们将一步步的见证你的成长!
蓝鲸智云-架构导图
【腾讯文档】蓝鲸智云-架构导图
https://docs.qq.com/mind/DR2JBUlZ4aFBhVFpI
蓝鲸智云-软件下载
为了防止未来蓝鲸智云由于版本更新而导致的相关文档,软件包的下载获取存在不容易找寻的问题,现将相关软件进行打包封存,获取地址如下:
链接: 下载地址 提取码: 175c
蓝鲸智云-系统环境
类别 | 说明 |
---|---|
系统版本 | CentOS Linux release 7.6.1810 (Core) |
系统内核 | 3.10.0-957.el7.x86_64 |
系统分区 | 根分区100GB 剩余空间给/var分区 取消SWAP分区 |
蓝鲸智云-软件环境
【腾讯文档】蓝鲸智云-部署环境说明
https://docs.qq.com/sheet/DR1ZHZVV6d3BSbVZL
备注:关于服务器规格配置请参考官方推荐配置即可
蓝鲸智云-视频指引
引导大家如何去正确系统的学习蓝鲸智云
蓝鲸智云-视频指引01-教程视频观看说明
蓝鲸智云-视频指引02-软件包工具获取相关说明
蓝鲸智云-环境准备(重中之重)
基础环境如果没有准备到位 部署一定会出问题 资源没有给足 就算部署完毕后 也一定不会稳定 一定会出各种各样的问题
这是一切问题的源头,所以要把所有问题消灭在开始之前!
链接: 入门环境准备所需工具软件下载 提取码: 691e
蓝鲸智云新手大礼包
蓝鲸智云-环境准备01-学习蓝鲸前的知识储备
蓝鲸智云-环境准备02-windows10学习环境说明
蓝鲸智云-环境准备03-学习环境软件包工具获取
蓝鲸智云-环境准备04-vmware软件介绍
蓝鲸智云-环境准备05-vmware软件安装01
蓝鲸智云-环境准备06-vmware软件安装02
蓝鲸智云-环境准备07-vmware软件初始化
蓝鲸智云-环境准备08-centos7系统介绍
蓝鲸智云-环境准备09-为什么要使用centos7.6版本
蓝鲸智云-环境准备10-centos7系统安装准备
蓝鲸智云-环境准备11-centos7系统开始安装
蓝鲸智云-环境准备12-centos7系统配置网络
蓝鲸智云-环境准备13-centos7添加数据盘
蓝鲸智云-环境准备14-xshell工具的安装与使用
蓝鲸智云-环境准备15-centos7系统环境初始化
蓝鲸智云-经验分享
个人学习过程中的一些经验分享
蓝鲸智云-经验分享01-学习蓝鲸如果遇到问题应该怎么解决
蓝鲸智云-经验分享02-蓝鲸官方资料和视频教程推荐
蓝鲸智云-经验分享03-向大家推荐影响我的那些老师们
蓝鲸智云-介绍篇
腾讯蓝鲸智云,简称蓝鲸,是腾讯互动娱乐事业群(Interactive Entertainment Group,简称 IEG)自研自用的一套用于构建企业研发运营一体化体系的 PaaS 开发框架,提供了 aPaaS(DevOps 流水线、运行环境托管、前后台框架)和 iPaaS(持续集成、CMDB、作业平台、容器管理、计算平台、AI 等原子平台)等模块,帮助企业技术人员快速构建基础运营 PaaS。
01-蓝鲸智云简单介绍01-简单介绍与演示
02-蓝鲸智云简单介绍02-蓝鲸体系介绍
蓝鲸智云-基础套餐
基础套餐包含:PaaS 平台、配置平台、作业平台、权限中心、用户管理、节点管理、标准运维、流程服务。
03-蓝鲸智云-基础套餐单机部署01
04-蓝鲸智云-基础套餐单机部署02
05-蓝鲸智云-基础套餐环境验证
内存优化脚本:执行完部署后,执行降低内存消耗脚本。以确保环境的稳定
# 执行降低内存消耗脚本(中控机执行)
cd /data/install/
bash bin/single_host_low_memory_config.sh tweak all
蓝鲸智云-监控日志套餐
该套餐主要适用于监控告警、日志采集分析以及故障自愈的场景。
主要包含蓝鲸相关产品:监控平台、日志平台、故障自愈。
06-蓝鲸智云-监控日志套餐单机部署01
07-蓝鲸智云-监控日志套餐单机部署02
08-蓝鲸智云-监控日志套餐环境验证
蓝鲸智云-快速入门
09-蓝鲸智云-快速入门01-配置平台-作业平台-节点管理
10-蓝鲸智云-快速入门02-标准运维-监控平台-用户管理-权限中心-流程服务
10-蓝鲸智云-快速入门03-流程服务
蓝鲸智云-消息管理配置
蓝鲸智云消息管理是用来对平台的告警进行全局配置的功能(包含:微信告警 微信公众号告警 邮件告警 短信告警 语音告警)
12-蓝鲸智云-消息管理-配置邮件告警
13-蓝鲸智云-消息管理-配置微信告警
蓝鲸智云-持续集成套餐
蓝鲸持续集成套餐分为 流水线(CI,也称为“蓝盾”)、代码检查(CodeCC)等 2 个系统。
14-蓝鲸智云-持续集成套餐安装部署01
15-蓝鲸智云-持续集成套餐安装部署02
16-蓝鲸智云-持续集成套餐-快速入门01-内置插件
17-蓝鲸智云-持续集成套餐-快速入门02-外部插件
蓝鲸智云-容器管理套餐
蓝鲸容器管理平台(BCS,Blueking Container Service)是 高度可扩展、灵活易用的容器管理服务平台,支持社区原生 Kubernetes 编排引擎。
用户无需关注基础设施的安装、运维和管理,只需要调用简单的 API,或者在页面上进行简单的配置,便可对容器进行启动、停止等操作,查看集群、容器及服务的状态,以及使用各种组件服务。
18-蓝鲸智云-容器管理套餐安装部署01
19-蓝鲸智云-容器管理套餐安装部署02
20-蓝鲸智云-容器管理套餐-快速入门01-搭建k8s集群
21-蓝鲸智云-容器管理套餐-快速入门02-k8s简单运行容器
蓝鲸智云-网络管理套餐
网络设备运维管理平台(NOP)作为一款合作商软件包,可以实现对网络设备运维管理的需求,可以完成对网络设备的性能数据进行监控,以及对设备 syslog 事件进行监听及告警。
此区域待更新
蓝鲸智云-入门篇-配置平台
蓝鲸配置平台是一款面向应用的 CMDB,在 ITIL 体系里,CMDB 是构建其它流程的基石,而在蓝鲸智云体系里,配置平台就扮演着基石的角色,为应用提供了各种运维场景的配置数据服务。它是企业 IT 管理体系的核心,通过提供配置管理服务,以数据和模型相结合映射应用间的关系,保证数据的准确和一致性;并以整合的思路推进,最终面向应用消费,发挥配置服务的价值。
22-蓝鲸智云-入门篇-配置平台01-业务模型入门
23-蓝鲸智云-入门篇-配置平台02-业务与监控关联
24-蓝鲸智云-入门篇-配置平台03-模型与全文检索
蓝鲸智云-入门篇-作业平台
作业平台(Job)是一套基于蓝鲸智云管控平台 Agent 管道之上,提供基础操作的原子平台;具备上万台并发处理能力,除了支持脚本执行、文件拉取 / 分发、定时任务等一系列基础运维场景以外,还支持通过流程调度能力将零碎的单个任务组装成一个自动化作业流程;而每个任务都可做为一个原子节点,提供给上层或周边系统/平台使用,实现跨系统调度自动化。
25-蓝鲸智云-入门篇-作业平台01-业务管理
26-蓝鲸智云-入门篇-作业平台02-平台管理
蓝鲸智云-入门篇-节点管理
节点管理是一款帮助企业批量快速安装蓝鲸 Agent 的 SaaS 应用,支持对常见的 Linux、Windows、AIX (仅限企业版)操作系统进行自动化部署,提供了跨云管理的安装部署方案,帮助企业轻松应对多云区域的 IaaS 设备管控。
27-蓝鲸智云-入门篇-节点管理01-直连区域-普通agent安装
28-蓝鲸智云-入门篇-节点管理02-自定义区域-proxy-agent安装
29-蓝鲸智云-入门篇-节点管理03-直连区域-批量agent安装
30-蓝鲸智云-入门篇-节点管理04-自定义区域-批量P-agent安装(待更新)
蓝鲸智云-入门篇-用户管理
蓝鲸用户管理 (BKUSER) 是蓝鲸智云提供的企业组织架构、多用户目录等集中的用户管理解决方案,为企业统一登录提供认证源服务。
蓝鲸智云-入门篇-统一认证(第三方)
OpenLDAP是轻型目录访问协议(Lightweight Directory Access Protocol,LDAP)的自由和开源的实现,在其OpenLDAP许可证下发行,并已经被包含在众多流行的Linux发行版中。
32-蓝鲸智云-入门篇-用户管理02-搭建ldap服务
33-蓝鲸智云-入门篇-用户管理03-对接openldap认证
活动目录(Active Directory)是面向Windows Standard Server、Windows Enterprise Server以及 Windows Datacenter Server的目录服务。活动目录服务是Windows Server 2000操作系统平台的中心组件之一
蓝鲸智云-入门篇-权限中心
蓝鲸权限中心(BKIAM)是蓝鲸智云提供的集中权限管理服务,支持基于蓝鲸开发框架的SaaS和企业第三方系统的权限控制接入,以及支持细粒度的权限管理。
35-蓝鲸智云-入门篇-权限中心01-普通用户申请权限
36-蓝鲸智云-入门篇-权限中心02-超级管理员分配权限
37-蓝鲸智云-入门篇-权限中心04-分级管理员分配权限
38-蓝鲸智云-入门篇-权限中心05-授权普通用户为管理员
蓝鲸智云-入门篇-流程服务
蓝鲸智云流程服务,是基于蓝鲸智云体系的上层 SaaS 应用。通过可自定义设计的流程模块,覆盖 IT 服务中的不同管理活动或应用场景。
39-蓝鲸智云-入门篇-流程服务01-制作申请账户流程
40-蓝鲸智云-入门篇-流程服务02-设计服务器报修流程
41-蓝鲸智云-入门篇-流程服务03-流程服务知识库
蓝鲸智云-入门篇-标准运维
标准运维是通过可视化的图形界面进行任务流程编排和执行的系统,是腾讯蓝鲸产品体系中一款轻量级的调度编排类 SaaS 产品。
42-蓝鲸智云-入门篇-标准运维01-项目流程入门
43-蓝鲸智云-入门篇-标准运维02-项目流程插件模块的使用
44-蓝鲸智云-入门篇-标准运维03-轻应用于公共流程
蓝鲸智云-入门篇-监控平台
监控平台是蓝鲸智云官方推出的一款监控平台产品,除了具有丰富的数据采集能力,大规模的数据处理能力,简单易用,还提供更多的平台扩展能力。依托于蓝鲸 PaaS,有别于传统的 CS 结构,在整个蓝鲸生态中可以形成监控的闭环能力。
监控很重要,很重要,很重要,重要的事情说三遍!
45-蓝鲸智云-入门篇-监控平台01-简单介绍与面板创建
46-蓝鲸智云-入门篇-监控平台02-主机监控
47-蓝鲸智云-入门篇-监控平台03-服务拨测
48-蓝鲸智云-入门篇-监控平台04-数据检索-事件中心
49-蓝鲸智云-入门篇-监控平台05-自定义监控插件
50-蓝鲸智云-入门篇-监控平台06-官方监控插件的使用
51-蓝鲸智云-入门篇-监控平台07-监控策略配置
蓝鲸智云-入门篇-故障自愈
故障自愈是行业领先的“故障自动化处理”解决方案,提升企业的服务可用性和降低故障处理的人力投入,实现故障自愈从“人工处理”到“无人值守”的变革!
52-蓝鲸智云-入门篇-故障自愈01-使用官方自愈套餐
53-蓝鲸智云-入门篇-故障自愈02-自愈套餐对接作业平台
54-蓝鲸智云-入门篇-故障自愈03-自愈套餐对接标准运维
55-蓝鲸智云-入门篇-故障自愈04-自愈套餐对接流程服务
56-蓝鲸智云-入门篇-故障自愈05-清理日志空间套餐
57-蓝鲸智云-入门篇-故障自愈06-组合套餐的使用
蓝鲸智云-入门篇-日志平台
日志系统是为解决分布式架构下日志收集、查询困难的一款日志产品,基于业界主流的全文检索引擎,通过蓝鲸智云的专属 Agent 进行日志采集,提供多种场景化的采集、查询功能。
58-蓝鲸智云-入门篇-日志平台01-简单介绍与搭建es集群
59-蓝鲸智云-入门篇-日志平台02-收集系统日志
60-蓝鲸智云-入门篇-日志平台03-收集nginx日志
61-蓝鲸智云-入门篇-日志平台04-配置日志关键字告警
62-蓝鲸智云-入门篇-日志平台05-配置nginx日志关键字告警
63-蓝鲸智云-入门篇-日志平台06-日志提取01-简单提取
64-蓝鲸智云-入门篇-日志平台07-日志提取02-提取过滤
65-蓝鲸智云-入门篇-日志平台08-配置日志仪表盘
蓝鲸智云-入门篇-堡垒机(官方推荐)
蓝鲸智云-入门篇-堡垒机(第三方)
JumpServer 是全球首款开源的堡垒机,使用 GPLv3 开源协议,是符合 4A 规范的运维安全审计系统。
蓝鲸智云-入门篇-堡垒机01-jumpserver简单介绍
蓝鲸智云-入门篇-堡垒机02-jumpserver快速部署
蓝鲸智云-入门篇-堡垒机03-jumpserver对接openldap
蓝鲸智云-入门篇-堡垒机04-jumpserver简单对接蓝鲸工作台
蓝鲸智云-入门篇-堡垒机05-jumpserver快速入门
蓝鲸智云-入门篇-代码托管(第三方)
GitLab 是一个用于仓库管理系统的开源项目,使用Git作为代码管理工具,并在此基础上搭建起来的Web服务。安装方法是参考GitLab在GitHub上的Wiki页面。
蓝鲸智云-入门篇-代码托管01-gitlab简单介绍
蓝鲸智云-入门篇-代码托管02-gitlab快速部署
蓝鲸智云-入门篇-代码托管03-gitlab对接openldap
蓝鲸智云-入门篇-代码托管04-搭建mariadb数据库
蓝鲸智云-入门篇-代码托管05-gitlab标准对接工作台01
蓝鲸智云-入门篇-代码托管06-gitlab标准对接工作台02
蓝鲸智云-入门篇-代码托管07-jumpserver标准对接蓝鲸工作台
蓝鲸智云-入门篇-代码托管08-gitlab快速入门01
蓝鲸智云-入门篇-代码托管09-gitlab快速入门02
Gerrit,一种免费、开放源代码的代码审查软件,使用网页界面
蓝鲸智云-入门篇-代码托管01-gerrit简单介绍
蓝鲸智云-入门篇-代码托管02-gerrit快速部署
蓝鲸智云-入门篇-代码托管03-gerrit对接http认证
蓝鲸智云-入门篇-代码托管04-gerrit对接openldap认证
蓝鲸智云-入门篇-代码托管05-gerrit标准对接蓝鲸工作台
蓝鲸智云-入门篇-代码托管06-gerrit快速入门01
蓝鲸智云-入门篇-代码托管07-gerrit快速入门02
SVN是subversion的缩写,是一个开放源代码的版本控制系统,通过采用分支管理系统的高效管理,简而言之就是用于多个人共同开发同一个项目,实现共享资源,实现最终集中式的管理
蓝鲸智云-入门篇-代码托管01-svn简单介绍
蓝鲸智云-入门篇-代码托管02-svn快速部署
蓝鲸智云-入门篇-代码托管03-svn对接http认证
蓝鲸智云-入门篇-代码托管04-svn对接openldap
蓝鲸智云-入门篇-代码托管05-svn标准对接蓝鲸工作台
蓝鲸智云-入门篇-代码托管05-svn快速入门-linux
蓝鲸智云-入门篇-代码托管07-svn快速入门-windows
蓝鲸智云-入门篇-容器仓库-harbor(第三方)
Docker容器应用的开发和运行离不开可靠的镜像管理,虽然Docker官方也提供了公共的镜像仓库,但是从安全和效率等方面考虑,部署私有环境内的Registry也是非常必要的。Harbor是由VMware公司开源的企业级的Docker Registry管理项目,它包括权限管理(RBAC)、LDAP、日志审核、管理界面、自我注册、镜像复制和中文支持等功能
蓝鲸智云-入门篇-容器仓库01-harbor简单介绍
蓝鲸智云-入门篇-容器仓库02-harbor快速部署
蓝鲸智云-入门篇-容器仓库03-harbor对接openldap
蓝鲸智云-入门篇-容器仓库04-harbor标准对接蓝鲸工作台
蓝鲸智云-入门篇-容器仓库05-harbor快速入门
蓝鲸智云-入门篇-软件仓库-yum(第三方)
要成功的使用YUM工具安装更新软件或系统,就需要有一个包含各种rpm软件包的repository(软件仓库),这个软件仓库我们习惯称为yum源,
蓝鲸智云-入门篇-软件仓库01-yum简单介绍
蓝鲸智云-入门篇-软件仓库02-yum仓库搭建-ISO
蓝鲸智云-入门篇-软件仓库03-yum仓库搭建-RPM
蓝鲸智云-入门篇-软件仓库04-yum仓库搭建-公网
蓝鲸智云-入门篇-软件仓库05-yum仓库搭建-模拟163源
蓝鲸智云-入门篇-软件仓库06-yum仓库标准对接蓝鲸工作台
蓝鲸智云-入门篇-软件仓库07-yum仓库日常维护
蓝鲸智云-入门篇-软件仓库08-yum客户端配置
蓝鲸智云-入门篇-软件仓库09-yum仓库优化
蓝鲸智云-入门篇-软件仓库10-yum仓库搭建rsync服务器
蓝鲸智云-入门篇-软件仓库11-yum仓库搭建-模拟清华源-简单介绍
蓝鲸智云-入门篇-软件仓库12-yum仓库搭建-模拟清华源-mirrors-web搭建
蓝鲸智云-入门篇-软件仓库13-yum仓库搭建-模拟清华源-tunasync搭建
蓝鲸智云-入门篇-软件仓库14-yum仓库搭建-验证模拟清华源
蓝鲸智云-入门篇-持续集成-蓝盾-CICD(官方)
蓝鲸持续集成平台(代号 bk-ci)是一个免费并开源的 CI 服务,可助你自动化构建-测试-发布工作流,持续、快速、高质量地交付你的产品。
蓝鲸智云-入门篇-持续集成01-蓝盾简单介绍
蓝鲸智云-入门篇-持续集成02-蓝盾对接gitlab构建流水线
蓝鲸智云-入门篇-持续集成03-蓝盾对接svn构建流水线
蓝鲸智云-入门篇-持续集成04-蓝盾对接gerrit构建流水线
蓝鲸智云-入门篇-持续集成05-蓝盾流水线的导入导出
蓝鲸智云-入门篇-持续集成06-蓝盾对接gitee构建流水线-公有
蓝鲸智云-入门篇-持续集成07-蓝盾对接gitee构建流水线-私有
蓝鲸智云-入门篇-持续集成08-蓝盾如何拉取gitlab代码构建流水线
蓝鲸智云-入门篇-持续集成09-蓝盾如何定制公有构建机docker镜像
蓝鲸智云-入门篇-持续集成10-蓝盾定时构建流水线
蓝鲸智云-入门篇-持续集成11-蓝盾远程构建流水线
蓝鲸智云-入门篇-持续集成12-蓝盾触发构建流水线
蓝鲸智云-入门篇-持续集成13-蓝盾配置私有构建机
蓝鲸智云-入门篇-持续集成14-蓝盾第三方插件-git
蓝鲸智云-入门篇-持续集成(第三方)
Jenkins是一个开源软件项目,是基于Java开发的一种持续集成工具,用于监控持续重复的工作,旨在提供一个开放易用的软件平台,使软件项目可以进行持续集成
蓝鲸智云-入门篇-容器管理平台
蓝鲸容器管理平台(BCS,Blueking Container Service)是 高度可扩展、灵活易用的容器管理服务平台,支持社区原生 Kubernetes 编排引擎。
蓝鲸智云-入门篇-扩展
蓝鲸智云-实战篇
蓝鲸智云-开发篇
故障问题与解决方式汇总
配置平台
bkmonitorv3报错,无数据上报解决方法:
./bkcli restart redis
./bkcli restart kafka
./bkcli restart cmdb
./bkcli restart job
./bkcli restart gse
./bkcli restart nodeman
./bkcli restart bkmonitorv3
重启服务后等10分钟再次check
bkmonitorv3报错,日志显示alarm_backends.management.commands.run_service
https://bk.tencent.com/s-mart/community/question/2569?type=answer
echo bkssm bkiam usermgr paas cmdb gse job consul bklog | xargs -n 1 ./bkcli check
配置平台开启全文检索功能
https://bk.tencent.com/s-mart/community/question/1376
节点管理
节点管理遇到的错误
节点管理修改全局配置,测试Server及URL可用性失败
https://bk.tencent.com/s-mart/community/question/2971?type=answer
【经验分享】安装proxy案例分享
https://bk.tencent.com/s-mart/community/question/2184
用户管理
用户管理遇到的错误
LDAP概念和原理介绍
https://www.cnblogs.com/wilburxu/p/9174353.html
01-ldap服务部署
http://39.106.94.54:50000/007-%E5%B8%B8%E7%94%A8%E5%9F%BA%E7%A1%80%E6%9C%8D%E5%8A%A1/01-ldap%E6%9C%8D%E5%8A%A1%E9%83%A8%E7%BD%B2/
ldap导入基本Schema
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/cosine.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/nis.ldif
ldapadd -Y EXTERNAL -H ldapi:/// -f /etc/openldap/schema/inetorgperson.ldif
windows Server 2012安装AD域步骤
https://blog.51cto.com/maguangjie/1926281
【缺陷修复】用户管理接入 AD/LDAP 无法正常同步用户
https://bk.tencent.com/s-mart/community/question/1669
LDAP (OpenLDAP)+ CentOS7.5 部署与实践视频课(基础架构之二)
https://edu.51cto.com/course/16561.html
Windows2012活动目录搭建域环境视频课程
https://edu.51cto.com/course/2489.html
故障自愈
故障自愈报错 (OperationalError) (1045, u"Access denied for user 'fta'
https://bk.tencent.com/s-mart/community/question/3599?type=answer
中控机执行./bkcli initdata mysql
日志平台
BK_CI_ES_USER=elastic BK_CI_ES_PASSWORD=$BK_ES7_ADMIN_PASSWORD
V42FVePpxxLZ
nginx正则表达式:(官方的)
(?P<server_ip>\d+\.\d+\.\d+\.\d+) - - \[(?P<datatime>[\s\S]+)\][\s"]+(?P<request>[A-Z]+) (?P<url>[\S]*) (?P<protocol>[\S]+)["] (?P<code>\d+) (?P<sendbytes>\d+) ["](?P<refferer>[\S]*)["] ["](?P<useragent>[\S\s]+)["] ["](?P<request_ip>\d+\.\d+\.\d+\.\d+)
nginx日志格式(自己搭建的)
/data/bkce/cmdb/support-files/templates/#etc#nginx.conf
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'"$status" $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for" '
'"$gzip_ratio" $request_time $bytes_sent $request_length';
(?P<request_ip>\d+\.\d+\.\d+\.\d+) - - \[(?P<datatime>[\s\S]+)\][\s"]+(?P<request>[A-Z]+) (?P<url>[\S]*) (?P<protocol>[\S]+)["] ["](?P<code>\d+)["] (?P<sendbytes>\d+) ["](?P<refferer>[\S]*)["] ["](?P<useragent>[\S\s]+)["]
日志提取链路配置
https://bk.tencent.com/s-mart/community/question/2171?type=answer
日志提取配置
https://bk.tencent.com/s-mart/community/question/3280?type=answer
elasticsearch下载 - 下载中心 - Elastic 中文社区
https://elasticsearch.cn/download/
Centos rpm 安装elasticsearch 6.8
https://www.cnblogs.com/12james/p/12768478.html
http://$PAAS_DOMAN/o/bk_log_search/bklog_manage/
堡垒机(jumpserver)
配置阿里云docker镜像源
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://1v0q5mvy.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker
sudo systemctl status docker
修改工作台代码
cd /data/bkce/open_paas/paas/templates/home
<li class="app-list-item">
<a class="linker" href="http://192.168.1.104" target="_blank">
<div class="app-logo">
<img src="https://gimg2.baidu.com/image_search/src=http%3A%2F%2Fpic2.zhimg.com%2Fv2-36c2c44ad7369c92dcfb64d39dacb160_xs.jpg%3Fsource%3D172ae18b&refer=http%3A%2F%2Fpic2.zhimg.com&app=2002&size=f9999,10000&q=a80&n=0&g=0n&fmt=jpeg?sec=1640747844&t=c780f726cbba5ea2fc4edbfebaff967c">
</div>
<p class="item-detail">Jumpserver</p>
<p class="item-detail">账户与蓝鲸智云一致</p>
</a>
</li>
代码托管(蓝盾)
蓝盾(CICD)
蓝盾支持gitee拉取吗
https://bk.tencent.com/s-mart/community/question/3654?type=answer
拉取git仓库插件
https://github.com/TencentBlueKing/ci-checkout
docker插件
https://github.com/TencentBlueKing/ci-dockerBuildPush
蓝盾插件的使用
https://bk.tencent.com/s-mart/community/question/1465?type=answer
Gitlab和OpenLDAP的集成
https://blog.csdn.net/wangzhimin0928/article/details/109036346
SVN 部署以及对接Ldap
https://www.cnblogs.com/lixinliang/p/15532858.html
腾讯工蜂(TGit)之代码上传
https://blog.csdn.net/Future_46/article/details/83011720
LDAP落地实战(三):GitLab集成OpenLDAP认证
https://blog.csdn.net/weixin_42578481/article/details/80878107
社区版V6.0.4-PaasAgent激活失败问题
数据库安装:
https://www.cnblogs.com/yhongji/p/9783065.html
pcmd -H 192.168.1.1 '${CTRL_DIR}/bin/install_paasagent.sh -e ${CTRL_DIR}/bin/04-final/paasagent.env -b $LAN_IP -m prod -s ${BK_PKG_SRC_PATH} -p ${INSTALL_PATH}'
pcmd -H 192.168.1.1 '${CTRL_DIR}/bin/install_paasagent.sh -e ${CTRL_DIR}/bin/04-final/paasagent.env -b $LAN_IP -m test -s ${BK_PKG_SRC_PATH} -p ${INSTALL_PATH}'
创建数据库(gitlab):
CREATE DATABASE `paas_gitlab` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
GRANT ALL PRIVILEGES ON paas_gitlab.* TO 'paas_gitlab'@'%' IDENTIFIED BY 'paas_gitlab';
FLUSH PRIVILEGES;
show databases;
mysql -h 192.168.56.85 -u paas_gitlab -ppaas_gitlab -e "show databases;"
创建数据库(jumpserver):
CREATE DATABASE `paas_jumpserver` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
GRANT ALL PRIVILEGES ON paas_jumpserver.* TO 'paas_jumpserver'@'%' IDENTIFIED BY 'paas_jumpserver';
FLUSH PRIVILEGES;
show databases;
mysql -h 192.168.56.85 -u paas_jumpserver -ppaas_jumpserver -e "show databases;"
创建数据库(gerrit):
CREATE DATABASE `paas_gerrit` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
GRANT ALL PRIVILEGES ON paas_gerrit.* TO 'paas_gerrit'@'%' IDENTIFIED BY 'paas_gerrit';
FLUSH PRIVILEGES;
show databases;
mysql -h 192.168.1.104 -u paas_gerrit -ppaas_gerrit -e "show databases;"
创建数据库(svn):
CREATE DATABASE `paas_svn` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
GRANT ALL PRIVILEGES ON paas_svn.* TO 'paas_svn'@'%' IDENTIFIED BY 'paas_svn';
FLUSH PRIVILEGES;
show databases;
mysql -h 192.168.1.104 -u paas_svn -ppaas_svn -e "show databases;"
创建数据库(harbor):
CREATE DATABASE `paas_harbor` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
GRANT ALL PRIVILEGES ON paas_harbor.* TO 'paas_harbor'@'%' IDENTIFIED BY 'paas_harbor';
FLUSH PRIVILEGES;
show databases;
mysql -h 192.168.1.104 -u paas_harbor -ppaas_harbor -e "show databases;"
创建数据库(yum):
CREATE DATABASE `paas_yum` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
GRANT ALL PRIVILEGES ON paas_yum.* TO 'paas_yum'@'%' IDENTIFIED BY 'paas_yum';
FLUSH PRIVILEGES;
show databases;
mysql -h 192.168.1.104 -u paas_yum -ppaas_yum -e "show databases;"
设置root远程连接
grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
flush privileges;
删除数据库
DROP database paas_gitlab;
查看用户权限
SELECT user,host FROM mysql.user;
创建用户
create user paasjumpserver identified by 'paasjumpserver';
删除用户
drop user paasgitlab@'%';
#!/usr/bin/env bash
if [ -d demo ];then
cd demo ; git pull origin master
else
git clone https://gitee.com/chriscentos/demo.git
fi
配置bkce-ci 公共构建机容器软件源
https://www.cnblogs.com/varden/p/13939953.html
\cp /etc/apt/sources.list /etc/apt/sources.list_bak
cat >/etc/apt/sources.list<<EOF
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ buster main contrib non-free
# deb-src https://mirrors.tuna.tsinghua.edu.cn/debian/ buster main contrib non-free
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ buster-updates main contrib non-free
# deb-src https://mirrors.tuna.tsinghua.edu.cn/debian/ buster-updates main contrib non-free
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ buster-backports main contrib non-free
# deb-src https://mirrors.tuna.tsinghua.edu.cn/debian/ buster-backports main contrib non-free
deb https://mirrors.tuna.tsinghua.edu.cn/debian-security buster/updates main contrib non-free
# deb-src https://mirrors.tuna.tsinghua.edu.cn/debian-security buster/updates main contrib non-free
EOF
apt-get update
apt-get -y install subversion
github访问加速
https://zhuanlan.zhihu.com/p/75994966?utm_source=wechat_session
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQC/4VnfevBe6sWSYDS8UTstl7E6fQVex9UwMSQIg14Cza4TiqLmmcPNOv9r9oUnhxOABPpv3PiynPSLOX/bpD24vQ5tlDSkil/70BuXuYg/T0MjQ2tINu0b7MqKXKb83o5XxHK75Oh/xf4uoCUWzQM1oC2mMuTTSPWhePbS6PtrsKblyTFyybrK8NdKxbMmBq25vCM0QIy2hgmlKSFjRLeDWKp525UEsMrk6BpvhLPbfLQ3N7luIEoTZcyHDJqRWwYQ8QmSf+tJ2OwxEZo9Qj9ol5bO5G471PPTZVBSW8A5TTdT9Sezb/stbDSXNPYSfPoAPa1NbH+O7xBYyzfvkjV/ root@linux-bkce-node1
mkdir -p ~/.ssh/
chown 600 ~/.ssh/
cat >~/.ssh/config<<EOF
Host *
StrictHostKeyChecking no
UserKnownHostsFile=/dev/null
EOF
chmod 644 ~/.ssh/config
cat >~/.ssh/id_rsa<<EOF
-----BEGIN RSA PRIVATE KEY-----
MIIEpAIBAAKCAQEAv+FZ33rwXurFkmA0vFE7LZexOn0FXsfVMDEkCINeAs2uE4qi
5pnDzTr/a/aFJ4cTgAT6b9z4spz0izl/26Q9uL0ObZQ0pIpf+9Abl7mIP09DI0Nr
SDbtG+zKilym/N6OV8Ryu+Tof8X+LqAlFs0DNaAtpjLk00j1oXj20uj7a7Cm5ckx
csm6yvDXSsWzJgatubwjNECMtoYJpSkhY0S3g1iqeduVBLDK5Ogab4Sz23y0Nze5
biBKE2XMhwyakVsGEPEJkn/rSdjsMRGaPUI/aJeWzuRuO9Tz02VQUlvAOU03U/Un
s2/7LWw0lzT2Enz6AD2tTWx/ju8QWMs375I1fwIDAQABAoIBAQCksgyuIZvIHMNQ
jHs3WJHu5FEe3siJPgTixIslM3yx81EDPO/t9vV1ZrpuNL692tcF/z/mXEirJsVP
6x6vrB2+P6furlMxGASi41GLvZgQnzwFPI0NAvgqC+kdMcGzMmQDOX8xf52AbrVp
19N96qJimQYVrYFzSSBsZKOXDJshJpY1c1MLdusM7QRN2MSo51p9kIHE7XR0KFwi
d/9bA1Kt0GkjpjizuU2gdXNohhEL8XMiqHwQCfCfP3KY0sVjKzdDm54nQr3ypA09
6az+fJDdMLTlLcyZhZGfKYxTa0Zossy/avl9jmRMkR6ZeIeq84kviu2/ziMqfoQJ
escMzTEBAoGBAOs1ZfdqJlE/SxI5XdQxCuYOA4asEBOKU8YQq6Ua2a3UGlN0iokK
49rn30Oxeqd5UklLTBtXyRk/XR/mmlIxEZbHrlKia6UJymoL9rTBdNbyRth00JdC
fZli4PyEBOWXVuJc/KgnA7S+FWt65x3y6S6AEFNZm0DlsLigL4U7aD+fAoGBANDX
dtR2SgCCouf88JaW2gPB4TV98bNKP0KaNKAmHCcwDsc14yFyiYXMMqv4/qCgRAQy
cZEfsC+jvSgVavRpUC1gJdqDXK8BvGjn0Vupc01d7vF6Td2Hy1VkzCTH/OtAuvHM
bf/mrYumhsZLnqVM+zEeVMsKSAd7hrD0xvKn1r4hAoGBAJhi9Dkj0Md61kxsVloP
nBwIoEg0WgYO7M+6JTrG9pkkfhnru4WmRJGjAId/CRRQCfvqiNh+O4/b+Z2dbgYq
PFcP7+UhzdQTT8z9C014uRY5yaSbqjkVnwItic6QSgvlzSjDTf4zqLcFICOOcQZ6
RpEV733Q5EFbju9O+Pq8zoHJAoGAGJGgmzInVpQH0j8BltW8ZEDE2+QrMSqE8rLt
igGxwjJ3Kpx+UgsFfsYdF/o9CmyQU+YTUj1mHtSmhjau1H4nPo9XJLPbjYMoxTaw
fJYcyHdKiwIWcv9svmkTUyhr6sk8tQGV10suE4XNyTpQOaYqzwaAdzqIasjveZXy
ac2xB8ECgYBzI8uA8dQCkkFfkXRNw65pRV8LWIeOSEdC3FFkPzyVpPJRP63J8SIa
mDF5ZrPGIl/fOuQSBjBePQTVU4v0mvfYzbI2Atu1ntkM/XvjcavdVYaQA/PFQcv4
9fEe5I05yQZm8gfY5bWIb/QC81dGyzBG8lasrmQn6ZKAiTVZ7qtk1w==
-----END RSA PRIVATE KEY-----
EOF
chmod 600 ~/.ssh/id_rsa
https://github.com/yyeexin/bilibili-html-demo
建议改进的地方
蓝鲸工作台的建议:
1.期望蓝鲸工作台能够实现不同平台模块之间的消息集中通知,而不是点进模块看通知,不点根本就不知道不同模块有什么通知或者告警。
2.期望蓝鲸工作台能够实现不同用户能看到的消息是不同的(这个需要权限控制)而不是一个普通用户就能看到所有信息,咱们可以设计一个普通用户申请不同模块平台权限的专属按钮,而不是现在一个普通用户登录上去后就能看所有的图标,每次都要点对应的图标去申请权限,工作台界面越简洁,用户体验越好。
3.期望蓝鲸工作台能够实现第三方开源软件的简单接入,哪怕是一个url的接入,
4.期望蓝鲸工作台希望可以实现运维也可以接入蓝鲸的权限系统,我说的不是需要开发的能力,运维也可以通过web界面点点点就能实现第三方开源软件的简单接入,哪怕先实现url级别的授权也行。
5.期望蓝鲸工作台工作台能不能实现内置浏览器,比如我打开一个平台的链接,他不会直接跳到下一个标签页,而是在工作台里面打开,用户就能更深入的对工作台产生依赖,让工作台成为运维的统一入口,毕竟谁掌握了运维入口,就能掌握一切嘛(当然我知道这个可能会存在浏览器兼容性的问题)
6.如果官方自带的所有的模块和系统都能通过工作台进行流转的话会能提升运维自动化的效率的,前期你可以通过工作台做简单的插件快速的调取不同模块的信息,或者操作不同模块的功能,建立一个工作台的快速调用插件库,能相互分享,相互调用,集中插件库(有插件库啦,就会有各种各样的定制化功能啦)
7.蓝鲸工作台就像是一个操作系统桌面入口一样,所有的一切都从这里开始,也从这里结束,用操作系统的思维去定位他。
开发者中心模块的建议
1.我们打开发者中心后,当我们创建完应用以后,正常的流程是应用先部署到测试环境,然后再部署到正式环境,但是这里存在一个硬性要求,上正式环境的软件必须得先部署到测试环境,其实这个功能在设计上是很合理的,但是用户在实际使用的过程中却感觉到十分的繁琐。能否将这个强制的设置取消,让用户自行选择,或者做一个开关按键,允许用户直接部署到生产环境。跳过测试环境的部署,让选择权交给用户或者管理员来去做决定,平台上就不要这么强制啦。
我遇到过单机部署蓝鲸工作台的情况,单机部署是没有测试环境的服务器信息,只有正式环境的服务器信息,这样就会导致在单机部署的蓝鲸工作台上无法上线应用,极大的影响用户的使用体检,而且扩容测试环境服务器的步骤也很繁琐,一不小心就配置出错,影响体验。
节点管理模块的建议
1.节点管理目前默认只支持agent模式下的主机管控,能否加一个ssh协议的远程管控节点,哪怕支持的功能少一点,至少能给一种方式,选择权可以交给用户,毕竟很多公司和运维还是希望能实现无agent的模式管理节点。
用户管理模块的建议:
1.关于用户管理模块对接ldap统一认证,缺少官方搭建ldap对接的方式步骤,如果使用自己搭建的ldap服务,与蓝鲸用户管理进行对接存在步骤繁琐,字段配置不清晰,从客户的角度去配置,发现问题很多,目前依旧卡在字段配置上(同步数据失败, 无法获取用户数据, 请检查配置)
改进建议:建议能出一个官方推荐搭建ldap的文档,与详细对接方式方法
标准运维模块的建议:
1.在已经存在的标准运维流程中新建任务,运行流程任务,只要点击开始按钮以后就无法修改输入参数,在运行过程中若发现输入的参数是错误的,只能重新建任务,重新输入参数进行运行,若输入的参数比较少的情况还感知不出来,但是如果输入的参数比较多的情况下,一旦某个参数输入错误,如果中途因为参数配置错误,就要重新创建任务,影响运维体验,影响整体效率。
改进建议:建议允许任务执行失败后,允许修改相关参数,并加载最新参数,可以在重新从出现错误的步骤开始运行。
蓝鲸智云-QA
问题1: 为什么要录制此系列视频?
答:蓝鲸智云是一个非常好的开源产品,从6.0.4版本已经基本稳定,这么好的开源产品值得进行普及。
问题2: 你是做什么的?凭什么能做好此开源产品的普及?
答:作者是一个运维架构师,并积累啦很深厚的运维经验,这些年的运维生涯中也接触过很多自动化平台,有些属于个人开发的,有些是企业需求开发的,但是作者在使用这些系统的时候,发现很多功能在实际使用的过程中不尽如人意,直到作者从蓝鲸智云5.0版本开始接触了解至今,作者发现遇到的对的它,一切的一切都是值得的。
蓝鲸智云-作者有话说
关于视频,我会不定时进行更新,由于作者也在不断的学习,不断的进步,愿意与大家一起共勉。