05 2020 档案

Ubuntu环境部署Logstash实战案例
摘要：Ubuntu环境部署Logstash实战案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.准备环境 1>.部署环境说明 Logstash可以单独找一台机器部署，它需要安装JDK环境，我这里为了省事，就直接和一台Elasticsearch节点复用同一个节点(es103.yin 阅读全文
posted @ 2020-05-31 23:28 JasonYin2020 阅读(1126) 评论(0) 推荐(0) 编辑
Nginx代理Kibana并实现登录认证实战案例
摘要：Nginx代理Kibana并实现登录认证实战案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 运维工作中，害人之心不可有，防人之心不可无呀，我们知道Kibana的WebUI默认没有认证功能，因此我们借助nginx来实现认证功能，此时我们需要将Kibanla服务监听到本地回环接口 阅读全文
posted @ 2020-05-30 23:05 JasonYin2020 阅读(903) 评论(0) 推荐(0) 编辑
Ubuntu环境部署Kibana实战案例
摘要：Ubuntu环境部署Kibana实战案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.准备环境 1>.部署Elasticsearch集群 Kibana可以单独找一台机器部署，但生产环境中我们一般会和Elasticsearch集群任意一个节点部署在一起，因此我这里基于之前搭建 阅读全文
posted @ 2020-05-29 23:27 JasonYin2020 阅读(1000) 评论(0) 推荐(0) 编辑
Idea打包JAR包图解
摘要：Idea打包JAR包图解 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.使用Idea工具打包JAR包方案一 1>.如下图所示，选中项目，点击"项目结构"对应的logo 2>.点击压缩包(Artifacts),如下图所示，继续点击"+" 3>.如下图所示,依次点击"JAR" > 阅读全文
posted @ 2020-05-28 22:21 JasonYin2020 阅读(1570) 评论(0) 推荐(0) 编辑
Wormhole部署实战案例
摘要：Wormhole部署实战案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.部署Worehole 1>. 2>. 3>. 二. 三. 阅读全文
posted @ 2020-05-27 23:32 JasonYin2020 阅读(446) 评论(0) 推荐(0) 编辑
编译Wormhole实战篇
摘要：编译Wormhole实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.下载源码 1>.克隆源代码 git clone https://github.com/edp963/wormhole.git 2>.切换tag C:\Users\yinzhengjie>cd wormh 阅读全文
posted @ 2020-05-26 23:31 JasonYin2020 阅读(398) 评论(0) 推荐(0) 编辑
Wormhole的核心概念
摘要：Wormhole的核心概念 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Wormhole概述 1>.什么是Wormhole Wormhole 面向大数据流式处理项目的开发管理运维人员，致力于提供统一抽象的概念体系，直观可视化的操作界面，简单流畅的配置管理流程，基于 SQL 阅读全文
posted @ 2020-05-25 23:02 JasonYin2020 阅读(761) 评论(0) 推荐(0) 编辑
Ubuntu环境部署分布式ElasticSearch集群
摘要：Ubuntu环境部署分布式ElasticSearch集群 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.实验环境说明 1>.测试集群规模说明 搭建ElasticSearch集群最少得有2台服务器，我这里使用3台测试机，其主机名如下所示: es101.yinzhengjie.o 阅读全文
posted @ 2020-05-24 23:21 JasonYin2020 阅读(761) 评论(0) 推荐(0) 编辑
Ubuntu环境部署单节点ElasticSearch实战案例
摘要：Ubuntu环境部署单节点ElasticSearch实战案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.准备环境 1>.环境说明 [root@es101.yinzhengjie.com ~]# cat /etc/issue Ubuntu 18.04.3 LTS \n \l 阅读全文
posted @ 2020-05-23 22:11 JasonYin2020 阅读(454) 评论(0) 推荐(0) 编辑
CentOS环境部署单节点ElasticSearch实战案例
摘要：CentOS环境部署单节点ElasticSearch实战案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.环境说明 1>.准备环境 [root@es201.yinzhengjie.com ~]# free -h total used free shared buff/cac 阅读全文
posted @ 2020-05-22 23:12 JasonYin2020 阅读(807) 评论(0) 推荐(0) 编辑
Elastic Stack各种组件软件包下载指南
摘要：Elastic Stack各种组件软件包下载指南 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.下载ElasticSearch软件包 1>.访问elastic的官网，如下图所示，依次点击"产品" > "查看所有下载" 官网地址: https://www.elastic.co/ 阅读全文
posted @ 2020-05-21 23:59 JasonYin2020 阅读(667) 评论(1) 推荐(0) 编辑
Elastic Stack技术栈概述
摘要：Elastic Stack技术栈概述 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.搜索引擎概述 1>.什么是搜索引擎 搜索引擎（Search Engine）是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相 阅读全文
posted @ 2020-05-20 23:58 JasonYin2020 阅读(854) 评论(0) 推荐(0) 编辑
HBase相关面试题整理
摘要：HBase相关面试题整理 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Hbase热点(数据倾斜)问题， 读写请求会集中到某一个RegionServer上如何处理 产生热点问题的原因： (1)hbase的中的数据是按照字典序排序的，当大量连续的rowkey集中写在个别的reg 阅读全文
posted @ 2020-05-19 22:34 JasonYin2020 阅读(1194) 评论(0) 推荐(0) 编辑
HBase预分区实战篇
摘要：HBase预分区实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.HBase预分区概述 每一个region维护着startRow与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维护。那么依照这个原则，我们可以将数 阅读全文
posted @ 2020-05-19 00:49 JasonYin2020 阅读(2025) 评论(0) 推荐(0) 编辑
zookeeper的API应用
摘要：zookeeper的API应用 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.环境准备 1>.创建Maven工程 使用IDE工具创建一个Maven工程，关于IDE看您个人喜好，可以使用Ecllipse或者Idea均可。 2>.在pom.xml文件中添加依赖关系 <?xml v 阅读全文
posted @ 2020-05-18 21:54 JasonYin2020 阅读(225) 评论(0) 推荐(0) 编辑
MapReduce实战案例
摘要：MapReduce实战案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.TOP N 案例 1>.测试数据 13071253242 6248 4260 10508 13168435653 2432 3908 6340 13268738793 2460 3040 5500 13 阅读全文
posted @ 2020-05-17 22:41 JasonYin2020 阅读(534) 评论(0) 推荐(0) 编辑
Go语言解析YAML配置文件案例
摘要：Go语言解析YAML配置文件案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.yaml配置文件 ################### Springboard machine Configuration Example ######################### # 阅读全文
posted @ 2020-05-16 23:25 JasonYin2020 阅读(3133) 评论(0) 推荐(0) 编辑
Go语言的ORM库xorm实战篇
摘要：Go语言的ORM库xorm实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 xorm是一个简单而强大的Go语言ORM库. 通过它可以使数据库操作非常简便。 一.环境准备 1>.准备测试数据 [root@yinzhengjie.com ~]# yum -y install ma 阅读全文
posted @ 2020-05-15 22:20 JasonYin2020 阅读(2603) 评论(0) 推荐(0) 编辑
Gin框架的Json web token(JWT)
摘要：Gin框架的Json web token(JWT) 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Json Web Token(简称JWT)概述 Json web token (JWT), 是为了在网络应用环境间传递声明而执行的一种基于JSON的开放标准（(RFC 7519) 阅读全文
posted @ 2020-05-14 23:19 JasonYin2020 阅读(992) 评论(0) 推荐(0) 编辑
Gin框架的Cookie与session案例
摘要：Gin框架的Cookie与session案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Cookie与session概述 1>.cookie和session的产生背景 由于HTTP协议是无状态的，服务器无法确定这次请求和上次请求是否来自同一个客户端。就给客户端们颁发一个通 阅读全文
posted @ 2020-05-14 00:24 JasonYin2020 阅读(3701) 评论(0) 推荐(1) 编辑
Gin框架的模板渲染案例
摘要：Gin框架的模板渲染案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.模板渲染概述 渲染: 指的是拿到数据，塞到模板里，最终生成html的文本，返回给浏览器,跟浏览器的渲染不是一回事。 加载模版文件 LoadHTMLGlob 和 LoadHTMLFiles 两个方法来对我们 阅读全文
posted @ 2020-05-12 23:26 JasonYin2020 阅读(2587) 评论(0) 推荐(0) 编辑
Go语言的Gin框架快速入门篇
摘要：Go语言的Gin框架快速入门篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Gin框架概述 1>.Go语言的Web框架概述 框架就是别人写好的代码我们可以直接使用，这个代码是专门针对一个开发方向定制的。例如,我们要做一个网站，利用框架就能非常块的完成网站的开发，如果没有框架 阅读全文
posted @ 2020-05-11 23:25 JasonYin2020 阅读(5612) 评论(0) 推荐(0) 编辑
Apache HDFS Federation + HA 部署实战案例
摘要：Apache HDFS Federation + HA 部署实战案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Apache HDFS Federation架构设计 1>.NameNode架构的局限性 Namespace(命名空间)的限制 由于NameNode在内存中存储 阅读全文
posted @ 2020-05-10 00:50 JasonYin2020 阅读(583) 评论(1) 推荐(1) 编辑
Apache Hadoop YARN高可用部署实战案例
摘要：Apache Hadoop YARN高可用部署实战案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客概述了YARN ResourceManager的高可用性，并详细介绍了如何配置和使用此功能。 一.YARN HA原理剖析 ResourceManager（RM）负责跟踪群 阅读全文
posted @ 2020-05-08 22:31 JasonYin2020 阅读(701) 评论(0) 推荐(0) 编辑
Hadoop企业级优化
摘要：Hadoop企业级优化 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.MapReduce优化方法 1>.MapReduce跑得慢原因 MapReduce程序效率的瓶颈在于以下两点: 1>.服务器性能 (a)CPU (b)内存 (c)磁盘健康 (d)网络 2>.I/O操作优化 阅读全文
posted @ 2020-05-06 23:04 JasonYin2020 阅读(294) 评论(0) 推荐(0) 编辑
Yarn资源调度器
摘要：Yarn资源调度器 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 YARN是一个资源调度平台,负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce,Spark,Flink邓运算程序则相当于运行于操作系统之上的应用程序。 一.YARN基本架构 如下 阅读全文
posted @ 2020-05-05 22:34 JasonYin2020 阅读(350) 评论(0) 推荐(0) 编辑
Hadoop数据压缩
摘要：Hadoop数据压缩 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Hadoop压缩概述 1>.压缩数据的基本原则 压缩技术能够有效减少Hadoop底层存储系统(HDFS集群)读写字节数。压缩提高了网络带宽和磁盘空间的效率。在运行MR程序时,I/O操作，网络数据传输，Shuf 阅读全文
posted @ 2020-05-04 21:13 JasonYin2020 阅读(313) 评论(0) 推荐(0) 编辑
计数器应用-数据清洗案例
摘要：计数器应用-数据清洗案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.计数器应用概述 Hadoop为每个作业维护若干个内置计数器,以描述多项指标。例如,某些计数器记录已处理的字节数和记录数，使用户可监控已处理的输入数据量已和已产出的输出数据量。 本篇博客的计数器案例主要是举 阅读全文
posted @ 2020-05-01 23:19 JasonYin2020 阅读(306) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示