上一页 1 2 3 4 5 6 7 8 9 10 ··· 35 下一页
2020年11月8日
通过日志聚合将作业日志存储在HDFS中
摘要： 通过日志聚合将作业日志存储在HDFS中 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.启用日志聚合功能 在默认情况下，Hadoop将所有日志存储在运行作业任务的节点上。在特定时间段后应用程序日志会被自动删除。可以配置日志聚合功能，将日志存储在HDFS中来长久保留日志信息。 日 阅读全文
posted @ 2020-11-08 06:06 尹正杰 阅读(1636) 评论(0) 推荐(0) 编辑
2020年11月5日
Hadoop日志纪录篇
摘要： Hadoop日志纪录篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Hadoop日志消息概述 1>.Hadoop日志记录概述 Hadoop日志对于处理失败的作业很有帮助。作业可能由于应用程序中的问题或硬件和平台错误而失败。Hadoop守护程序日志能够显示影响作业的守护进程中 阅读全文
posted @ 2020-11-05 03:04 尹正杰 阅读(3284) 评论(0) 推荐(0) 编辑
2020年11月1日
监控Hadoop指标
摘要： 监控Hadoop指标 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.hadoop 2指标概述 Hadoop 2的指标及其记录系统在性能调查和调试过程中非常有用。与在单个服务器上运行数据库来进行监视和故障排除相比，hadoop的分布式架构使其难以监视集群并诊断问题。 hadoo 阅读全文
posted @ 2020-11-01 10:46 尹正杰 阅读(1377) 评论(0) 推荐(0) 编辑
2020年10月26日
监控Linux服务器
摘要： 监控Linux服务器 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Linux系统监控基础 从性能的角度来看，监控Linux系统主要监控CPU，内存，磁盘存储和带宽的使用情况。 1>.监控CPU使用情况 只要没有使用100%的CPU容量，就可以在系统中使用剩余的容量来支持更多 阅读全文
posted @ 2020-10-26 05:36 尹正杰 阅读(849) 评论(0) 推荐(0) 编辑
2020年10月17日
监控Hadoop集群实战篇
摘要： 监控Hadoop集群实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.监控Linux服务器 大多数Hadoop安装在Linux系统上，因此必须了解Linux监控的事情，并且要熟悉Linux系统监控工具。缓慢的系统可能会导致处理器(CPU)，内存，磁盘或带宽等方面的瓶颈。 阅读全文
posted @ 2020-10-17 23:53 尹正杰 阅读(1774) 评论(0) 推荐(0) 编辑
2020年10月10日
Hadoop YARN资源管理-公平调度器(Fackbook的Fair Scheduler)
摘要： Hadoop YARN资源管理-公平调度器(Fackbook的Fair Scheduler) 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 之前我分享了配置容量调度器(Apache Hadoop默认的调度器)的笔记，今天我们来学习另一个重要的Hadoop资源调度器，即公平调度器， 阅读全文
posted @ 2020-10-10 05:37 尹正杰 阅读(1888) 评论(0) 推荐(0) 编辑
2020年10月4日
Hadoop集群常见报错汇总
摘要： Hadoop集群常见报错汇总 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.org.apache.hadoop.security.KerberosAuthException: Login failure for user: hdfs/hadoop101.yinzhengjie 阅读全文
posted @ 2020-10-04 05:36 尹正杰 阅读(12049) 评论(0) 推荐(0) 编辑
2020年9月28日
Kerberos常见报错汇总
摘要： Kerberos常见报错汇总 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.kdb5_util: Password mismatch while reading master key from keyboard 1>.错误复现 2>.错误原因分析 在初始化Kerberos数据 阅读全文
posted @ 2020-09-28 05:36 尹正杰 阅读(4753) 评论(0) 推荐(2) 编辑
2020年9月19日
Python软件包管理工具pip实战篇
摘要： Python软件包管理工具pip实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客主要讲解Python的pip工具及Miniconda的conda工具使用案例。 一.Python环境安装 博主推荐阅读： https://www.bilibili.com/video/B 阅读全文
posted @ 2020-09-19 17:05 尹正杰 阅读(577) 评论(0) 推荐(0) 编辑
2020年9月12日
Python软件包及环境管理器conda实战篇
摘要： Python软件包及环境管理器conda实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.使用conda管理Python软件包 1>.查看已安装的软件包 C:\Users\yinzhengjie>conda list 2>.查看有关当前conda安装的信息 C:\User 阅读全文
posted @ 2020-09-12 23:32 尹正杰 阅读(720) 评论(0) 推荐(0) 编辑
2020年9月6日
Python的Virtualenv与Venv环境管理器
摘要： Python的Virtualenv与Venv环境管理器 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Virtualenv环境管理器 1>.Virtualenv概述 如果你的操作系统使用的是原生python环境，也想要在本系统创建和运行多个Python独立环境(每个pytho 阅读全文
posted @ 2020-09-06 01:27 尹正杰 阅读(1217) 评论(0) 推荐(0) 编辑
2020年8月29日
Python的编辑工具-Jupyter notebook实战案例
摘要： Python的编辑工具-Jupyter notebook实战案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.安装Jupyter 1>.jupyter notebook概述 我们知道Python是有交互式命令行的，但其功能相对较弱，因此有人开发了ipython，它对Pyth 阅读全文
posted @ 2020-08-29 23:23 尹正杰 阅读(1736) 评论(0) 推荐(0) 编辑
2020年8月22日
文档工具GitBook使用指南
摘要： 文档工具GitBook使用指南 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.安装Gitbook 1>.安装nodejs 较新版本的gitboot关于左侧导航栏使用了ajax技术，导致使用gitboot必须得基于HTTP协议，它不像旧版本默认支持本地文件访问，即不能双击打开M 阅读全文
posted @ 2020-08-22 22:35 尹正杰 阅读(904) 评论(0) 推荐(0) 编辑
2020年8月16日
标记语言MarkDown快速入门篇
摘要： 标记语言MarkDown快速入门篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Markdown概述 1>.什么是Markdown Markdown是一种标记语言，用于文档排版，它相比于HTML标签要简单的多。 Markdown的流行度非常高，很多IDE都集成了Markdo 阅读全文
posted @ 2020-08-16 22:47 尹正杰 阅读(537) 评论(0) 推荐(0) 编辑
2020年8月9日
Hadoop集群配置https实战案例
摘要： Hadoop集群配置https实战案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.生成私钥及证书文件并拷贝到Hadoop节点 1>.生成私钥和证书文件 [root@hadoop101.yinzhengjie.com ~]# ll total 4 -rw 1 root ro 阅读全文
posted @ 2020-08-09 00:02 尹正杰 阅读(3169) 评论(0) 推荐(2) 编辑
2020年8月2日
Windows操作系统部署安装Kerberos客户端
摘要： Windows操作系统部署安装Kerberos客户端 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.下载Kerberos软件 1>.打开Kerberos官网 官网地址: https://web.mit.edu/kerberos/ 2>.下载"kfw-4.1-amd64.msi 阅读全文
posted @ 2020-08-02 02:40 尹正杰 阅读(6814) 评论(0) 推荐(1) 编辑
2020年7月27日
Hadoop YARN资源管理-容量调度器(Yahoo!的Capacity Scheduler)
摘要： Hadoop YARN资源管理-容量调度器(Yahoo!的Capacity Scheduler) 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.队列和子队列 1>.YARN资源调度器概述 博主推荐阅读: https://www.cnblogs.com/yinzhengjie/ 阅读全文
posted @ 2020-07-27 01:27 尹正杰 阅读(1447) 评论(0) 推荐(0) 编辑
2020年7月19日
Hadoop集群资源管理篇-资源调度器
摘要： Hadoop集群资源管理篇-资源调度器 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Hadoop中的资源分配概述 1>.Hadoop资源分配的是什么 资源分配是指向使用Hadoop集群的用户分配稀缺的有限计算资源，如CPU时间，内存，存储空间和网络带宽等。 目前Hadoop 阅读全文
posted @ 2020-07-19 23:09 尹正杰 阅读(2296) 评论(0) 推荐(0) 编辑
2020年7月12日
使用YARN命令管理Hadoop作业
摘要： 使用YARN命令管理Hadoop作业 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.YARN命令概述 如下图所示，Hadoop的yarn命令可以管理YARN的各个方面。虽然ResourceManager Web UI非常有用，但当不能使用Web UI时，就需要使用命令来处理问 阅读全文
posted @ 2020-07-12 01:34 尹正杰 阅读(2072) 评论(0) 推荐(0) 编辑
2020年7月5日
ApplicationMaster如何与ResourceManager协作进行资源分配
摘要： ApplicationMaster如何与ResourceManager协作进行资源分配 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 阅读全文
posted @ 2020-07-05 03:29 尹正杰 阅读(329) 评论(0) 推荐(0) 编辑
2020年6月30日
YARN(Hadoop操作系统)的架构
摘要： YARN(Hadoop操作系统)的架构 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.YARN概述 HDFS是Hadoop两大基石之一，而YARN是另一个。如果HDFS是存储层，则YARN是Hadoop的处理层。简单地说，YARN是一个用于管理在网络中的多台计算机上执行的分布 阅读全文
posted @ 2020-06-30 23:42 尹正杰 阅读(724) 评论(0) 推荐(1) 编辑
2020年6月21日
在YARN集群上运行部署MapReduce分布式计算框架
摘要： 在YARN集群上运行部署MapReduce分布式计算框架 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客主要讲解在YARN集群上配置Mapreduce分布式计算框架。与此同时，启动HistoryServer服务，便于在RM Web UI界面查看聚合日志内容。 一.本地运行 阅读全文
posted @ 2020-06-21 23:28 尹正杰 阅读(498) 评论(0) 推荐(0) 编辑
2020年6月14日
搭建YARN集群
摘要： 搭建YARN集群 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.启动HDFS集群 1>.搭建HDFS分布式集群 博主推荐阅读： https://www.cnblogs.com/yinzhengjie2020/p/12424192.html 2>.启动HDFS集群 [root@ 阅读全文
posted @ 2020-06-14 04:04 尹正杰 阅读(1195) 评论(0) 推荐(0) 编辑
2020年6月7日
使用mdadm工具实现软RAID 5实战案例
摘要： 使用mdadm工具实现软RAID 5实战案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.准备工作 1>.实验环境说明 本次试验我打算采用4个分区设备来做RAID 5，如下图所示。 一般情况下使用3块设备就可以做RAID 5,但我之所以使用4块设备，是想用第4块设备充当空闲 阅读全文
posted @ 2020-06-07 23:40 尹正杰 阅读(1649) 评论(0) 推荐(0) 编辑
2020年5月31日
使用mdadm工具实现软RAID 0实战案例
摘要： 使用mdadm工具实现软RAID 0实战案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.准备工作 1>.准备2块磁盘 假设你刚刚从别的服务器下架了2块磁盘设备(sdb和sdc)并安装到了你新买的服务器，如下图所示。 这个时候可能需要咱们手动删除磁盘上的数据，当然，你也可以 阅读全文
posted @ 2020-05-31 00:26 尹正杰 阅读(2441) 评论(0) 推荐(2) 编辑
2020年5月24日
RAID常见级别与JBOD概述
摘要： RAID常见级别与JBOD概述 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.RAID概述 1>.什么是RAID 1988年由加利福尼亚大学伯克利分校（University of CaliforniaBerkeley） 提出的将多个磁盘合成一个“阵列”来提供更好的性能、冗余， 阅读全文
posted @ 2020-05-24 23:57 尹正杰 阅读(9454) 评论(0) 推荐(3) 编辑
2020年5月17日
文件系统常用工具实战篇
摘要： 文件系统常用工具实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 本篇博客主要介绍df,du,dd三个命令的使用案例。 一.已挂载文件系统空间占用等信息的查看工具-df 1>.查看df命令的帮助信息 [root@yinzhengjie.com ~]# df --help Us 阅读全文
posted @ 2020-05-17 01:08 尹正杰 阅读(931) 评论(0) 推荐(0) 编辑
2020年5月4日
挂载文件系统
摘要： 挂载文件系统 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.博主推荐阅读 硬盘结构类型概述: https://www.cnblogs.com/yinzhengjie/p/12340062.html 分区表概述: https://www.cnblogs.com/yinzheng 阅读全文
posted @ 2020-05-04 23:35 尹正杰 阅读(1502) 评论(0) 推荐(0) 编辑
2020年5月2日
创建文件系统实战篇
摘要： 创建文件系统实战篇 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.EXT系列文件系统专用管理工具-mkfs 1>.查看mkfs命令 [root@yinzhengjie.com ~]# mkfs #想要查看更详细的信息可参考"man mkfs"帮助信息 Usage: mkfs 阅读全文
posted @ 2020-05-02 22:47 尹正杰 阅读(904) 评论(0) 推荐(0) 编辑
2020年4月30日
JumpServer的会话管理及命令过滤器应用案例
摘要： JumpServer的会话管理及命令过滤器应用案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.JumpServer的会话管理 1>.以管理员身份登录JumpServer 2>.查看实时的命令记录,如下图所示,依次点击"会话管理" > "命令记录" 3>.查看在线会话,我们 阅读全文
posted @ 2020-04-30 23:30 尹正杰 阅读(4589) 评论(1) 推荐(0) 编辑
2020年4月23日
JumpServer的权限管理
摘要： JumpServer的权限管理 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.准备工作 JumpServer的用户管理: https://www.cnblogs.com/yinzhengjie/p/12380734.html JumpServer的资产管理: https:// 阅读全文
posted @ 2020-04-23 23:46 尹正杰 阅读(2484) 评论(0) 推荐(0) 编辑
2020年3月21日
JavaScript基础知识-方法
摘要： JavaScript基础知识-方法 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.JavaScript源代码 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>方法</title> <s 阅读全文
posted @ 2020-03-21 22:29 尹正杰 阅读(225) 评论(0) 推荐(0) 编辑
2020年3月10日
JavaScript基础知识-立即执行函数
摘要： JavaScript基础知识-立即执行函数 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.JavaScript源代码 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>立即执行函数</t 阅读全文
posted @ 2020-03-10 00:34 尹正杰 阅读(273) 评论(0) 推荐(0) 编辑
2020年3月3日
JavaScript基础知识-实参可以是任何值
摘要： JavaScript基础知识-实参可以是任何值 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.JavaScript源代码 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>实参可以是任何 阅读全文
posted @ 2020-03-03 22:47 尹正杰 阅读(466) 评论(0) 推荐(0) 编辑
2020年3月2日
JavaScript基础知识-函数的返回值
摘要： JavaScript基础知识-函数的返回值 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.JavaScript源代码 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>函数的返回值</t 阅读全文
posted @ 2020-03-02 22:07 尹正杰 阅读(563) 评论(0) 推荐(0) 编辑
2020年3月1日
JavaScript基础知识-函数的参数
摘要： JavaScript基础知识-函数的参数 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.JavaScript源代码 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>函数的参数</tit 阅读全文
posted @ 2020-03-01 22:08 尹正杰 阅读(277) 评论(0) 推荐(0) 编辑
2020年2月29日
JumpServer的资产管理
摘要： JumpServer的资产管理 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.创建系统用户(一般指的是你管理服务的普通用户) 1>.以管理员身份登录JumpServer 2>.创建系统用户,如下图所示，依次点击"资产管理" > "系统用户" > "创建系统用户" 3>.根据提 阅读全文
posted @ 2020-02-29 22:05 尹正杰 阅读(1623) 评论(0) 推荐(0) 编辑
2020年2月28日
JumpServer的用户管理
摘要： JumpServer的用户管理 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.创建组 1>.以管理员身份登录JumpServer 2>.依次点击"用户管理" > "用户组" > "创建用户组" 3>.根据提示信息创建组 4>.用户组创建成功 二.创建用户 1>.如下图所示,依 阅读全文
posted @ 2020-02-28 22:28 尹正杰 阅读(2670) 评论(0) 推荐(0) 编辑
2020年2月27日
JumpServer的Docker部署实战案例
摘要： JumpServer的Docker部署实战案例 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.JumpServer概述 1>.什么是JumpServer JumpServer是全球首款完全开源的堡垒机, 使用GNU GPL v2.0开源协议, 是符合4A的专业运维审计系统。 阅读全文
posted @ 2020-02-27 00:32 尹正杰 阅读(3909) 评论(0) 推荐(1) 编辑
2020年2月26日
文件系统概述
摘要： 文件系统概述 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.文件系统的选择 1>.什么是文件系统 文件系统是操作系统用于明确存储设备或分区上的文件的方法和数据结构；即在存储设备上组织文件的方法。操作系统中负责管理和存储文件信息的软件结构称为文件管理系统，简称文件系统。 从系统 阅读全文
posted @ 2020-02-26 23:07 尹正杰 阅读(862) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 9 10 ··· 35 下一页