摘要:
想了好久,还是决定写一个jvm的一个系列,学习java基础,我感觉必须要动要动一下jvm,不然不会知道去排查问题和优化代码,这篇文章大概就是写一个jvm的一个总体的概述。后续会写具体详细的章节来介绍jvm,因为最近自己也在学习jvm,希望与大家共同学习。 一、JVM概述 JVM是Java Virtu 阅读全文
摘要:
一、zabbix客户端的下载地址(windows)https://www.zabbix.com/cn/download_agents#tab:40LTShttps://www.zabbix.com/downloads/2.2.19/zabbix_agent-2.2.19-windows-i386.z 阅读全文
摘要:
问题: 问题的产生(手贱使用了如下命令): rpm -e --nodeps openldap openldap-clients openldap-servers openldap-devel compat-openldap 解决方案: 下载如下一些包(我的系统是centos7的,一定要版本对应) 下 阅读全文
摘要:
一、概述 在linux中,所有东西都是以文件的形式存在的,所以我们在linux上的操作都是通过对文件的操作来执行我们所需要的逻辑,比如我们对文件数据的访问,修改,访问网络的连接等,刚好lsof(list open file)命令用于查看进程打开的文件,打开文件的进程,进程打开的端口(TCP、UDP) 阅读全文
摘要:
前面在hadoop之yarn详解(基础架构篇)这篇文章提到了yarn的重要组件有ResourceManager,NodeManager,ApplicationMaster等,以及yarn调度作业的运行过程,Yarn将它的功能分为两层:负责资源管理的平台层,叶称为第一层调度,以及二级调度的框架来协调应 阅读全文
摘要:
一、概述 vmstat命令是最常见的Linux/Unix监控工具,可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率,内存使用,虚拟内存交换情况,IO读写情况。首先我们查看下帮助。如下图所示: 使用语法: vmstat [-V] [-n] [delay [count]] 1.1、虚拟内存 阅读全文
摘要:
Linux系统可以通过top命令查看系统的CPU、内存、运行时间、交换分区、执行的线程等信息。通过top命令可以有效的发现系统的缺陷出在哪里。是内存不够、CPU处理能力不够、IO读写过高。 一、top选项 使用语法:top -hv | -abcHimMsS -d delay -n iteration 阅读全文
摘要:
本篇主要对yarn命令进行阐述 一、yarn命令概述 使用语法: yarn [--config confdir] COMMAND [--loglevel loglevel] [GENERIC_OPTIONS] [COMMAND_OPTIONS] 二、命令详解 2.1、application 使用语法 阅读全文
摘要:
本文主要从yarn的基础架构和yarn的作业执行流程进行阐述 一、yarn的概述 Apache Yarn(Yet Another Resource Negotiator的缩写)是hadoop集群资源管理器系统,Yarn从hadoop 2引入,最初是为了改善MapReduce的实现,但是它具有通用性, 阅读全文
摘要:
一、sar的概述 在我使用的众多linux分析工具中,sar是一个非常全面的一个分析工具,可以比较瑞士军刀,对文件的读写,系统调用的使用情况,磁盘IO,CPU相关使用情况,内存使用情况,进程活动等都可以进行有效的分析。sar工具将对系统当前的状态进行取样,然后通过计算数据和比例来表达系统的当前运行状 阅读全文
摘要:
一、概述 优化前我们需要知道hadoop适合干什么活,适合什么场景,在工作中,我们要知道业务是怎样的,能才结合平台资源达到最有优化。除了这些我们当然还要知道mapreduce的执行过程,比如从文件的读取,map处理,shuffle过程,reduce处理,文件的输出或者存储。在工作中,往往平台的参数都 阅读全文
摘要:
一、find概述 话不多说,先来find --help一下 从上看:find命令的使用语法: 其中expression主要包括operators, options, tests, and actions 二、find基本原理和实践 find是从左向右处理的,所以表达式的前后顺序不同会造成不同的搜索性 阅读全文
摘要:
上篇文章hadoop之mapreduce详解(基础篇)我们了解了mapreduce的执行过程和shuffle过程,本篇文章主要从mapreduce的组件和输入输出方面进行阐述。 一、mapreduce作业控制模块以及其他功能 mapreduce包括作业控制模块,编程模型,数据处理引擎。这里我们重点阐 阅读全文
摘要:
本篇文章主要从mapreduce运行作业的过程,shuffle,以及mapreduce作业失败的容错几个方面进行详解。 一、mapreduce作业运行过程 1.1、mapreduce介绍 MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduc 阅读全文
摘要:
本文主要从两个方面对hdfs进行阐述,第一就是hdfs的整个架构以及组成,第二就是hdfs文件的读写流程。 一、HDFS概述 标题中提到hdfs(Hadoop Distribute File System)是分布式文件系统 分布式文件系统 distributed file system 是指文件系统 阅读全文