03 2023 档案
摘要:目录 1、下载HBase二进制源码包 2、配置环境变量 3、配置ZooKeeper和Hbase配置项 4、修改regionservers文件 5、修改冲突jar包 6、查看相关进程是否启动 7、访问hbase页面 部署集群: 192.168.20.11 node1 192.168.20.12 nod
阅读全文
摘要:最近查看zabbix agent端发现有很多 处于TIME_WAIT状态的tcp连接 目前zabbix采用的是被动模式,passive 即zabbix-server主动来向zabbix-agent来获取数据, 被动模式工作流程 工作流程: Zabbix-Server打开一个TCP连接。Zabbix-
阅读全文
摘要:目录 1、下载apache-zookeeper包 2、修改配置 3、添加服务器id 4、启动ZooKeeper集群 5、客户端连接 6、添加新节点: 部署ZooKeeper集群之前请先部署jdk 使用hadoop用户部署ZooKeeper集群 1、下载apache-zookeeper包 部署机器:
阅读全文
摘要:目录 1、YARN是一个通用资源管理系统和调度平台 2、YARN架构 ResourceManager(RM) NodeManager(NM) ApplicationMaster(AM) 3、程序提交YARN交互流程 4、YARN资源调度器Scheduler Capacity Scheduler 特性
阅读全文
摘要:目录 HDFS文件系统 1、文件系统定义 2、大数据时代,面对海量数据,传统的文件存储系统会面临哪些挑战? 3、分布式存储系统的核心属性及功能含义 一、分布式存储的优点 二、元数据记录的功能 三、分块存储好处 四、副本机制的作用 4、HDFS简介 HDFS适用场景 5、HDFS主从架构 分块存储 副
阅读全文
摘要:目录 Hadoop集群安装部署 1、集群环境准备 2、建立免密通道 3、集群时间同步 4、jdk1.8安装 5、hadoop安装部署 6、Hadoop配置文件配置 7、格式化操作 8、启动hadoop集群 启动HDFS集群: 启动YARN集群 9、访问HDFS的web页面(端口9870) 10、访问
阅读全文
摘要:目录 1、Hadoop是什么 1.1、狭义上的Hadoop: 1.2、广义上的Hadoop: 1.3、Hadoop核心组件: 2、Hadoop特性优点 3、Hadoop架构变迁 4、Hadoop集群 HDFS集群和YARN集群逻辑上分离,物理上一起 1、Hadoop是什么 1.1、狭义上的Hadoo
阅读全文
摘要:需求:监控集群里面所有Java进程的内存使用情况。 查看linux系统里面有哪些java进程在运行:jps命令 [root@localhost zabbix]# jps 26490 YarnTaskExecutorRunner 12012 NodeManager 14047 YarnTaskExec
阅读全文
摘要:目录 centos7部署KVM虚拟化平台 1、新建一台虚拟机 2、系统内的操作 1、修改主机名 2、挂载镜像光盘 3、ssh优化 4、设置本地yum仓库 5、关闭防火墙,selinux 3、安装KVM 4、设置KVM网络 5、KVM部署与管理 6、使用虚拟系统管理器管理虚拟机 创建存储池 创建存储卷
阅读全文
摘要:free -h命令可以查看内存的使用情况 [root@zabbix-server ~]# free -h total used free shared buff/cache available Mem: 1.8G 432M 894M 10M 492M 1.2G Swap: 2.0G 0B 2.0G
阅读全文
摘要:目录 1、常见的linux文件系统 2、文件系统的组成 inode的内容: 可以用stat命令,查看某个文件的inode信息 inode的大小 inode号码 使用 ls -i来查看文件的inode号码 使用 df -i命令,查看每个硬盘分区的inode总数和已经使用的数量,可以使用df命令。 系统
阅读全文
摘要:情况: 最近项目无用代码造成堆积,要把redis数据库中的以form_开头的key都设置一个ttl 在测试环境下的redis服务器上面插入10w个key,然后进行测试 [root@vm01 lianxi]# cat 100_keys.sh #!/bin/bash for ((i=0;i<100000
阅读全文
摘要:zabbix的网络发现 网络发现的好处: 加快zabbix部署 简化管理 无需过多管理就能在快速变化的环境中使用zabbix zabbix网络发现给予以下信息 IP范围 可用的外部服务(FTP,SSH,WEB,POP3,IMAP,TCP等) 来自zabbix agent的信息 来自snmp agen
阅读全文
摘要:今天使用ansible批量部署zabbix-agent,但是总是报错 [root@zabbix-server ~]# ansible-playbook zabbix_agent.yml -k SSH password: PLAY [webserver] ***********************
阅读全文
摘要:1、下载netstat命令对应的软件包 yum install net-tools -y 2、netsta命令介绍 [root@vm01 ~]# man netstat NETSTAT(8) Linux System Administrator's Manual NETSTAT(8) NAME ne
阅读全文