摘要:
Hadoop生态圈-Ambari控制台功能简介 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 在经历一系列安装过程之后(部署过HDP后我终于发现为什么大家喜欢用它了,部署比CDH简单是他优势之一!),我们已经新建了一个进群并进入到Ambari到集群控制台首页。Ambari到集群控 阅读全文
摘要:
目前主流的数据库介绍篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.数据库背景知识 1>.什么是数据库? 将信息(数据)按照计算机可识别的方式规则存放在磁盘库中,并提供一系列可供读写的方式。相比较与磁盘,数据库最大的特点是提供了非常灵活的接口,方式可以获取完整数据或者特定部 阅读全文
摘要:
《老梁四大名著情商课》笔记- 杨修之死:越有能力越得认怂 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 本期话题:年轻人该低头就低头,该认怂就认怂。 最近在互联网上看到一条励志语句:“不要低头,王冠会掉,不要流泪,坏人会笑。”这句话看起来是很励志的,其实这句话我告诉大家,这句话纯 阅读全文
摘要:
使用mysql存放Ambari元数据的配置案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.环境准备 详情请参考我之前的笔记:离线方式部署Ambari2.6.0.0 中关于第三步和第四步的操作。 二.安装ambari-server(需要配置好本地yum源哟~也就是第一步骤) 阅读全文
摘要:
手把手教你通过Ambari新建Hadoop集群图解案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 登陆系统之后,会看到Ambari空空如也的欢迎界面,接下来我们就需要介绍如何通过Ambari新建Hadoop集群。关于如何部署Ambari是很简单的,我这里就不啰嗦了,感兴趣的小 阅读全文
摘要:
《老梁四大名著情商课》笔记- 刚上班,别做林黛玉,也别做孙悟空 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 本期话题,刚上班是应该谨小慎微?还是敢想敢干? 我们知道林黛玉刚刚进贾府的时候小心翼翼的。她去看望贾母的时候,进屋时不敢乱坐: 贾母问她:“你读书读什么样啦?”, 林黛玉 阅读全文
摘要:
《老梁四大名著情商课》笔记-学学TA,你就是聚会的万人迷 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 现在社会学家有一个统计,说中国处在单身状态大概有2个亿。这些人中有的是因为机缘的问题一直单着,可也有很多人想脱单可是整天在家宅着那也不行啊。你想脱单你就得多认识人。越熟悉的地方 阅读全文
摘要:
《老梁四大名著情商课》笔记- 别慌,情商是可以提升的 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 大家都知道我们左右脑的功能: 左脑:管理的是逻辑思维,说白了就是你的智商。 右脑:管理的是形象思维,类似与我们生活中的情商。 所以说一个人聪不聪明主要看他的左脑,一个人会不会处事得 阅读全文
摘要:
《Apache kafka实战》读书笔记-kafka集群监控工具 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 如官网所述,Kafka使用基于yammer metrics的监控指标体系来统计broker端和clinets端的各种监控指标(metric)。说到yammer metr 阅读全文
摘要:
《老梁四大名著情商课》笔记- 智商与情商:哪个重,哪个轻 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一部《水浒传》智商最高的非得智多星吴用了,别小瞧他只是一个农村的教书先生,但他算计的人可真不少,比如《智取生辰纲》。而情商最高的自然是宋江,在水浒里108将几乎都把他当偶像对待 阅读全文
摘要:
《Apache Kafka实战》读书笔记-调优Kafka集群 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.确定调优目标 1>.常见的非功能性要求 2>.只有明确目标才能明确调优的方向 如上所述,我们需要从四个方面来考虑调优目标:吞吐量,延时,持久性和可用性。为了明确用户生产 阅读全文
摘要:
《Apache kafka实战》读书笔记-管理Kafka集群安全之ACL篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 想必大家能看到这篇博客的小伙伴,估计你对kafka已经有了深入对一步了解了,因为现在的你已经不考虑如何部署kafka以及调优了,而是考虑到kafka安全的问题 阅读全文
摘要:
Hadoop ha CDH5.15.1-hadoop集群启动后,两个namenode都是standby模式 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一说起周五,想必大家都特别开心对吧?其实我也很开心呀~眼看还剩下一个小时就下班了。然而在这一个小时内,我都心里活动真的是跌宕起 阅读全文
摘要:
HDFS集群优化篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.操作系统级别优化 1>.优化文件系统(推荐使用EXT4和XFS文件系统,相比较而言,更推荐后者,因为XFS已经帮我们做了大量的优化。为服务器存储目录挂载时添加noatime属性) 2>.预读缓冲 预读技术可以有 阅读全文
摘要:
JavaScript基础知识-流程控制之if语句 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.JavaScript源代码 二.浏览器打开以上代码渲染结果 阅读全文
摘要:
JavaScript基础知识-代码块 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.JavaScript源代码 二.浏览器打开以上代码渲染结果 阅读全文
摘要:
Linux下查看某个进程打开的文件数-losf工具常用参数介绍 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 在linux操作系统中,一切皆文件。通过文件不仅仅可以访问常规数据,还可以访问网络连接和硬件。比如说传输控制协议 (TCP) 和用户数据报协议 (UDP) 套接字等。有时 阅读全文
摘要:
Linux下查看线程数的几种方法汇总 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.Linux下查看某个进程的线程数量 pstree命令以树状图显示进程间的关系(display a tree of processes)。ps命令可以显示当前正在运行的那些进程的信息,但是对于它 阅读全文
摘要:
Linux网卡调优篇-禁用ipv6与优化socket缓冲区大小 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一般在内网环境中,我们几乎是用不到IPV6,因此我们没有必要把多不用的功能开起来从而浪费不必要的资源。默认情况下,系统内核没有针对快速的的大流量网络传输进行优化,所以对于 阅读全文
摘要:
Linux虚拟内存(swap)调优篇-“swappiness”,“vm.dirty_background_ratio”和“vm.dirty_ratio” 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 我的kafka集群在上线一段时间后,发现内存使用达到峰值时系统开始使用swap。 阅读全文
摘要:
《Kafka权威指南》读书笔记-操作系统调优篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 大部分Linux发行版默认的内核调优参数配置已经能够满足大多数应用程序的运行需求,不过还是可以通过调整一些参数来进一步提升Kafka的性能。这些参数主要与虚拟内存,网络子系统和用来存储日 阅读全文
摘要:
HTML&CSS基础-表单简介 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.HTML源代码 二.浏览器打开以上代码渲染结果 阅读全文
摘要:
《Apache Kafka 实战》读书笔记-认识Apache Kafka 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.kafka概要设计 kafka在设计初衷就是为了解决互联网公司的超级大量级数据的实时传输。为了实现这个目标,kafka在设计之初就需要考虑以下四个方面: 第 阅读全文
摘要:
HTML&CSS基础-完善clearfix 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.抛出问题 1>.HTML源代码 2>.浏览器打开以上代码渲染结果 二.使用空table解决问题 1>.HTML源代码 2>.浏览器打开以上代码渲染结果 三.完善clearfix的最终版本 阅读全文
摘要:
HTML&CSS基础-使用表格布局 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.HTML源代码 二.浏览器打开以上代码渲染结果 阅读全文
摘要:
比Kafka Mangaer更优秀的开源监控工具-Kafka Eagle 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 在Kafka的监控系统中有很多优秀的开源监控系统。比如Kafka-manager,open-faclcon,zabbix等主流监控工具均可直接监控kafka。K 阅读全文
摘要:
Kafka吞吐量测试案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 领英公司参考连接:https://www.slideshare.net/JiangjieQin/producer-performance-tuning-for-apache-kafka-63147600?qi 阅读全文
摘要:
flume常见异常汇总以及解决方案 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 实际生产环境中,我用flume将kafka的数据定期的往hdfs集群中上传数据,也遇到过一系列的坑,我在这里做个记录,如果你也遇到同样的错误,可以参考一下我的解决方案。 1>.服务器在接收到响应之前 阅读全文
摘要:
运维监控-Open-Falcon单机部署实战篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 Open-Falcon,为前后端分离的架构,包含backend 和 frontend两部分。本文的部署笔记参考自open-faclon官网:https://book.open-falco 阅读全文
摘要:
运维监控-Open-Falcon介绍 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.Open-Falcon 介绍 监控系统是整个运维环节,乃至整个产品生命周期中最重要的一环,事前及时预警发现故障,事后提供翔实的数据用于追查定位问题。监控系统作为一个成熟的运维产品,业界有很多开 阅读全文
摘要:
新硬盘挂载-fdisk+mount案例实操 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 现在很多服务器都支持热插拔了,当有新的硬盘插入到服务器上我们需要将其分区,格式化,然后挂载到操作系统中使用。相比这个过程大家都了解,我就不多废话了,这也是一个运维的基本功,本篇博客就用虚拟化 阅读全文
摘要:
Zookeeper+Kafka完全分布式实战部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 其实我之前部署过kafak和zookeeper的完全分布式,集群是可以正常使用没错,但是在调优方案我做的很少,本次部署模拟我实际生成环境中的kafka版本zookeeper的一些调优措 阅读全文
摘要:
Linux系统IO分析工具之iotstat常用参数介绍 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 1>.安装iostat 2>.查看iostat的帮助信息 3>.查看部分cpu状态信息 4>.某些使用block为单位的列强制使用Kilobytes为单位 5>.显示设备(磁盘) 阅读全文
摘要:
Linux测试硬盘读性能的常用工具-hdparm和dd俩搭档 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.hparm # 它用来在基于 Linux的系统上获取或设置硬盘参数,包括测试读性能以及缓存性能等。 1>.安装hdparm工具 2>.查看帮助信息 3>.显示硬盘的相关 阅读全文
摘要:
Linux检查和收集硬件信息的常用命令总结 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 Linux基础真的很重要,基础不牢,地动山摇。这句话我是听老男孩创始人冉总说的一句话,起初我也不以为然。直到最近我kafka集群出现丢数据的情况,花了3天时间才查明白原因,是由于我磁盘IO到 阅读全文
摘要:
Linux系统CPU相关信息查询 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.lscpu常用参数介绍 1>.查看帮助信息 2>.以人性化的格式显示cpu信息 3>.查看CPU信息 二.通过查看“/proc/cpuinfo”文件 1>.查看CPU的详细信息 2>.查看物理CP 阅读全文
摘要:
Linux系统IO分析工具之iotop常用参数介绍 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 在一般运维工作中经常会遇到这么一个场景,服务器的IO负载很高(iostat中的util),但是无法快速的定位到IO负载的来源进程和来源文件导致无法进行相应的策略来解决问题。 Wind 阅读全文
摘要:
JavaScript基础知识-运算符的优先级 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 一.JavaScript源代码 二.浏览器打开以上代码渲染结果 阅读全文
摘要:
网络设备监控-Catic添加H3C的监控图解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 首先,我要声明满足2个条件才能作本篇笔记的操作:第一:你得有台cacti服务器,第二:你得有台交换机,这台交换机需要配置团体名并且可以和你的cacti服务器互通。以上两点我已经在之前的笔记 阅读全文
摘要:
Hadoop基础-MapReduce入门篇之编写简单的Wordcount测试代码 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 本文主要是记录一写我在学习MapReduce时的一些琐碎的学习笔记, 方便自己以后查看。在调用API的时候,可能会需要maven依赖,添加依赖的包如下: 阅读全文