随笔分类 -  运维

摘要:成熟企业级开源监控解决方案Zabbix6.2关键功能实战-下通过上一篇对Zabbix基础和原理有一定理解,本篇则着重从多个实战示例一步步演示如何使用,可直接用于生产环境使用,内容覆盖源码安装、Zabbix Agent2部署、分布式架构Zabbix Proxy的使用、自定义监控、触发器、图形、模板、snmp监控、自动发现、主动注册、JMX监控等完整示例。 阅读全文
posted @ 2022-11-10 22:58 itxiaoshen 阅读(816) 评论(0) 推荐(0) 编辑
摘要:成熟企业级开源监控解决方案Zabbix6.2关键功能实战-上前面研究过最主流的容器化监控Prometheus,今天再来聊聊善于监控网络、物理机、虚拟机等的老牌成熟开源监控方案Zabbix(6.2)及其总体架构,并与小米开源Open-falcon做对比分析;企业如何正确选择其版本,最后快速部署Zabbix并实现一个Agent主机的入门示例。 阅读全文
posted @ 2022-11-05 22:10 itxiaoshen 阅读(981) 评论(0) 推荐(2) 编辑
摘要:企业大数据发展面临问题之存算分离技术思考存算分离是下一代企业大数据必然趋势,本篇先简述存算分离背景以及为何要进行存算分离,当前存算分离主要优势和实际应用场景。并归纳分析若干如华为Ocean系列、JuiceFs、HashData等市面上存算分离产品和解决方案。 阅读全文
posted @ 2022-10-12 23:05 itxiaoshen 阅读(1659) 评论(0) 推荐(5) 编辑
摘要:大数据技术之HBase原理与实战归纳分享-下上一篇对Hbase底层原理有一定理解后则进入生产开发实战,企业开发大都使用Phoenix来操作Hbase的数据,先部署Phoenix,通过其类似shell命令工具创建表和插入数据及查询数据、表映射,简易JDBC演示示例,实操理解二级索引使用,最后通过整合Hive若干示例实现对Hbase的数据的简易分析能力。 阅读全文
posted @ 2022-10-11 22:22 itxiaoshen 阅读(193) 评论(0) 推荐(0) 编辑
摘要:大数据技术之HBase原理与实战归纳分享-上要想入门大数据理论和原理必先研究HBase,体会其设计精髓,本篇先介绍其基础架构和应用场景、逻辑结构和物理存储结构进一步理解其数据模型,通过详细完整步骤一步步的安装最新版本2.5高可用的Hbase集群以加深理解其整体架构,最后通过实操Hbase Shell基础命令和DDL、DMl等常用命令。 阅读全文
posted @ 2022-10-09 18:52 itxiaoshen 阅读(413) 评论(0) 推荐(0) 编辑
摘要:云原生强大且灵活的持续集成CI开源框架Tekton实战-上Tekton以yaml文件编排应用构建及部署流程,是一个纯云原生的标准化CICD流水线构建、测试和部署流程的工具,本篇先介绍其使用好处、主要组件、并一步步部署和简单演示任务和管道的简易使用。 阅读全文
posted @ 2022-10-04 20:28 itxiaoshen 阅读(1254) 评论(0) 推荐(2) 编辑
摘要:云原生下基于K8S声明式GitOps持续部署工具ArgoCD实战-上ArgoCD是Kubernetes的声明式、GitOps连续交付工具,通过Kubernetes控制器来实现。本篇介绍ArgoCD基本功能、组件和工作流程,也介绍通过kubekey部署简单K8S集群和基于K9S简易管理K8S集群,并通过K8S部署ArgoCD,通过二进制部署和配置ArgoCD的命令行工具,最后以一个官方示例演示ArgoCD创建APP的简易示例入门。 阅读全文
posted @ 2022-10-03 12:46 itxiaoshen 阅读(1416) 评论(0) 推荐(0) 编辑
摘要:数仓Hive和分布式计算引擎Spark多整合方式实战和调优方向Hive与Spark之间整合有3种模式,本篇从Hive on Spark和Spark on Hive的使用出发,hive支持mr、tez和spark三种底层计算引擎,通过部署Hive on Spark环境实现Hive用到Spark的体验,Spark on Hive的使用则比较简单直接通过SQL操作Hive,最后罗列常见的一些大数据性能调优方法。 阅读全文
posted @ 2022-09-12 21:55 itxiaoshen 阅读(1692) 评论(0) 推荐(0) 编辑
摘要:大规模数据分析统一引擎Spark最新版本3.3.0入门实战本篇先了解Spark和Hadoop的关系与区别,进一步了解特性和相关组件架构;通过实战部署了Spark最新版本3.3.0的Local、Standalone+历史服务+HA、Yarn的部署完成操作步骤,并通过不同提交方式的示例和WebUI查看加深多Spark多种作业提交原理的理解,并拉开了使用Spark-Shell方式提交本地、集群、yarn交互式使用之门。 阅读全文
posted @ 2022-09-11 22:53 itxiaoshen 阅读(1365) 评论(0) 推荐(0) 编辑
摘要:Hive数据仓库工具基本架构和入门部署详解Hive是一个建立在Hadoop HDFS架构至上的数仓工具,管理元数据但本身不存储数据,本篇了解hive优缺点,进一步理解其组成部分和数据组织形式和Driver,最后通过部署最新版本3.1.3版本完成内嵌模式、本地metastore、远程hiveserver2和metastore打开进入hive使用的大门 阅读全文
posted @ 2022-09-10 11:22 itxiaoshen 阅读(824) 评论(0) 推荐(0) 编辑
摘要:全能成熟稳定开源分布式存储Ceph破冰之旅-上Ceph实现了分布式统一的存储,既支持对象存储、块设备存储还支持文件系统,不失为目前最成熟稳定的存储解决方案,本篇先了解传统存储问题和Ceph的优势,介绍总体架构和组成部分,说明官网文档部署和部署版本建议,了解几种部署方式,最后通过Cephadm快速部署一个简单暂无存储节点的集群,后续可以在此基础上进行高可用节点的和存储节点的扩缩容 阅读全文
posted @ 2022-09-07 22:44 itxiaoshen 阅读(1342) 评论(0) 推荐(0) 编辑
摘要:强大多云混合多K8S集群管理平台Rancher入门实战一个可以快速安装和管理多K8S集群强大工具Rancher,虽然也有其他如Openshift、Kubesphere、Sealos,还是强烈推荐生产环境直接选用Rancher,本篇从部署Rancher本身开始,一步步基于Rancher搭建一个新的K8S集群的详细操作步骤和常见功能介绍,最后部署一个Deployment的Nginx应用和动态扩缩容的演示示例。 阅读全文
posted @ 2022-08-31 22:51 itxiaoshen 阅读(1630) 评论(0) 推荐(2) 编辑
摘要:Seatunnel超高性能分布式数据集成平台使用体会有Sqoop和DataX之类数据处理为何还要用Apache SeaTunnel,这就要得益于Apache SeaTunnel依赖Flink和Spark天然分布式处理数据的特性,前两者是单机同步数据不适于海量数据同步,以低代码方式用配置文件就可以启动Flink数据处理应用,本篇从基本概念和原理入手,并通过部署SeaTunnel演示了多个基于Flink的Source和Sink配置,基本掌握如何编写配置使用。 阅读全文
posted @ 2022-08-27 00:37 itxiaoshen 阅读(3992) 评论(0) 推荐(0) 编辑
摘要:新一代分布式实时流处理引擎Flink入门实战操作篇全篇通过依赖Hadoopz最新版本3.3.4部署Flink最新版本1.15.1的实战操作,针对Standalone 单机部署、Standalone 集群部署、Standalone 单机部署 HA部署的操作步骤结合演示示例深入理解Flink的丰富安装模式,全篇重点在针对生产Flink On Yarn模式,以Flink On Yarn从部署原理、流程和示例完整操作流程说明的角度分别演示会话(Session)模式、单作业(Per-Job)模式、应用(Application)模式形成深刻的理解。 阅读全文
posted @ 2022-08-21 00:11 itxiaoshen 阅读(951) 评论(0) 推荐(1) 编辑
摘要:主流前沿的开源监控和报警系统Prometheus+Grafana入门之旅随着容器化成熟,Prometheus+grafana作为主流监控报警系统越来越被企业所青睐;本篇了解Prometheus的特性,熟悉其架构和组成部分,对其常见概念进行简单说明,其简易部署使得其更稳定更高效,通过docker和二进制两种部署方式搭建Prometheus server,熟悉其控制台常见功能;穿插了监控基础理论,部署Prometheus的两种数据采集exporter和pushgateway,并通过相应采集示例演示,通过一个对CPU监控采集和图形展示的示例了解到Prometheus强大数学支持,最后通过部署grafana实现一个抓取TCP waiting_connection美观的可视化展示。 阅读全文
posted @ 2022-08-11 23:36 itxiaoshen 阅读(1373) 评论(0) 推荐(0) 编辑
摘要:简单ELK配置实现生产级别的日志采集和查询实践开篇先提出ES生产环境部署需要考虑五个问题,进而一步步展开阐述ES集群规划、节点类型规划、脑裂问题避免、分片和副本设置推荐设置,最后以一个日志采集生产环境实战例子,应用ES索引生命周期策略、索引模板实现索引的动态管理过程。 阅读全文
posted @ 2022-06-28 00:43 itxiaoshen 阅读(2099) 评论(0) 推荐(1) 编辑
摘要:数仓选型必列入考虑的OLAP列式数据库ClickHouse(中)ELK作为老一代日志分析技术栈非常成熟,可以说是最为流行的大数据日志和搜索解决方案,而新一代日志监控选型以MPP架构为主如ClickHouse、StarRocks特别是近年来对ELK地位发起较大的挑战,不乏有许多的大公司如携程,快手已开始把自己的日志解决方案从 ES 迁移到了Clickhouse,本篇将以一个完整实际日志采集的场景进一步打开Clickhouse的技术大门 阅读全文
posted @ 2022-05-22 02:31 itxiaoshen 阅读(904) 评论(3) 推荐(3) 编辑
摘要:架构师成长之路也该了解的新一代微服务技术-ServiceMesh(上)本篇从单机小型机->垂直拆分->集群化负载均衡->服务化改造架构->服务治理->微服务时代的架构演进开始阐述,并逐步引出ServiceMesh服务网格时代,了解ServiceMesh的概念,列出一些国内外的ServiceMesh项目,最后重点介绍了目前最主流的产品Istio的组成和特点。 阅读全文
posted @ 2022-03-24 23:11 itxiaoshen 阅读(791) 评论(1) 推荐(0) 编辑
摘要:从K8S部署示例进一步理解容器化编排技术的强大云原生时代作为程序猿心怀好奇学习了Kubernetes从此对其不再陌生,本篇以kubeadm方式快速部署3台服务器v1.22.1版本的K8S集群,从部署规划到部署步骤一步步详细记录和说明,遇到问题逐个解决,并练习K8S常用的命令,通过Nginx部署及其快速扩缩容、基于yaml文件部署、容器DNS功能,而关于K8Sconfigmap、secrets、有状态应用、高可用k8s集群、helm以及基于微服务集群容器编排部署后续补充 阅读全文
posted @ 2021-12-19 19:22 itxiaoshen 阅读(717) 评论(0) 推荐(1) 编辑
摘要:记录一次成功CICD完整亲身实践从此踏进入Devops大门当前Devops思想相当火热已经逐步渗透到企业实际运用当中,通过本篇完整学习你一定可以将CICD直接运用到学习或实际工作当中让周围同事、朋友对你另眼相看,构建一个基于容器化的CICD从Git提交源码后自动触发构建、打包、测试、部署到单个应用服务器Docker宿主机容器中运行,核心组件jenkins版本为2.306,容器化环境也可换为K8S或docker swarm 阅读全文
posted @ 2021-12-18 09:51 itxiaoshen 阅读(1615) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示