10 2019 档案

解决yum命令后出现libldap-2.4.so.2: cannot open shared object file
摘要：问题： 问题的产生（手贱使用了如下命令）： rpm -e --nodeps openldap openldap-clients openldap-servers openldap-devel compat-openldap 解决方案： 下载如下一些包（我的系统是centos7的，一定要版本对应） 下 阅读全文
posted @ 2019-10-29 16:16 一寸HUI 阅读(4339) 评论(0) 推荐(0) 编辑
linux分析工具之lsof详解
摘要：一、概述 在linux中，所有东西都是以文件的形式存在的，所以我们在linux上的操作都是通过对文件的操作来执行我们所需要的逻辑，比如我们对文件数据的访问，修改，访问网络的连接等，刚好lsof（list open file）命令用于查看进程打开的文件，打开文件的进程，进程打开的端口(TCP、UDP) 阅读全文
posted @ 2019-10-12 17:33 一寸HUI 阅读(5201) 评论(0) 推荐(1) 编辑
hadoop之yarn详解（框架进阶篇）
摘要：前面在hadoop之yarn详解（基础架构篇）这篇文章提到了yarn的重要组件有ResourceManager，NodeManager，ApplicationMaster等，以及yarn调度作业的运行过程，Yarn将它的功能分为两层：负责资源管理的平台层，叶称为第一层调度，以及二级调度的框架来协调应 阅读全文
posted @ 2019-10-10 16:28 一寸HUI 阅读(2681) 评论(0) 推荐(1) 编辑
linux分析工具之vmstat详解
摘要：一、概述 vmstat命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况。首先我们查看下帮助。如下图所示： 使用语法: vmstat [-V] [-n] [delay [count]] 1.1、虚拟内存 阅读全文
posted @ 2019-10-09 19:09 一寸HUI 阅读(5095) 评论(0) 推荐(1) 编辑
linux分析工具之top命令详解
摘要：Linux系统可以通过top命令查看系统的CPU、内存、运行时间、交换分区、执行的线程等信息。通过top命令可以有效的发现系统的缺陷出在哪里。是内存不够、CPU处理能力不够、IO读写过高。 一、top选项 使用语法：top -hv | -abcHimMsS -d delay -n iteration 阅读全文
posted @ 2019-10-08 19:42 一寸HUI 阅读(4196) 评论(0) 推荐(0) 编辑
hadoop之yarn详解（命令篇）
摘要：本篇主要对yarn命令进行阐述 一、yarn命令概述 使用语法： yarn [--config confdir] COMMAND [--loglevel loglevel] [GENERIC_OPTIONS] [COMMAND_OPTIONS] 二、命令详解 2.1、application 使用语法 阅读全文
posted @ 2019-10-08 16:40 一寸HUI 阅读(12990) 评论(0) 推荐(2) 编辑
hadoop之yarn详解（基础架构篇）
摘要：本文主要从yarn的基础架构和yarn的作业执行流程进行阐述 一、yarn的概述 Apache Yarn（Yet Another Resource Negotiator的缩写）是hadoop集群资源管理器系统，Yarn从hadoop 2引入，最初是为了改善MapReduce的实现，但是它具有通用性， 阅读全文
posted @ 2019-10-08 16:21 一寸HUI 阅读(26821) 评论(0) 推荐(12) 编辑
linux分析利刃之sar命令详解
摘要：一、sar的概述 在我使用的众多linux分析工具中，sar是一个非常全面的一个分析工具，可以比较瑞士军刀，对文件的读写，系统调用的使用情况，磁盘IO，CPU相关使用情况，内存使用情况，进程活动等都可以进行有效的分析。sar工具将对系统当前的状态进行取样，然后通过计算数据和比例来表达系统的当前运行状 阅读全文
posted @ 2019-10-06 22:22 一寸HUI 阅读(17573) 评论(0) 推荐(7) 编辑
hadoop之mapreduce详解（优化篇）
摘要：一、概述 优化前我们需要知道hadoop适合干什么活，适合什么场景，在工作中，我们要知道业务是怎样的，能才结合平台资源达到最有优化。除了这些我们当然还要知道mapreduce的执行过程，比如从文件的读取，map处理，shuffle过程，reduce处理，文件的输出或者存储。在工作中，往往平台的参数都 阅读全文
posted @ 2019-10-01 00:06 一寸HUI 阅读(4836) 评论(0) 推荐(1) 编辑