roger888

nagios添加check_logfiles监控注意事项

摘要：为被监控机器添加日志监控，需注意： 1.确认被监控机器/usr/local/nagios/libexec下是否已存在check_logfiles插件，如没有，需要copy进来； 2.确认被监控机器/usr/local/nagios/etc/下是否已存在需要监控日志的配置文件log.cfg，如没有，需阅读全文

posted @ 2017-06-19 11:27 roger888 阅读(676) 评论(0) 推荐(0) 编辑

ganglia371 on suse11sp3

摘要：参考https://my.oschina.net/duangr/blog/181585 1.确认依赖包是否已安装确认命令：rpm -qa 如下为适合suse11sp3的依赖包版本 apr： libapr1-devel-1.4.2-3.1.x86_64.rpm libapr1-1.4.2-3.1.x 阅读全文

posted @ 2017-05-10 15:07 roger888 阅读(289) 评论(0) 推荐(0) 编辑

hadoop 3.0.0新特性

摘要： 1.Minimum required Java version increased from Java 7 to Java 8 java最低支持版本变成java8 2.Support for erasure encoding in HDFS 关于EC技术，参考http://blog.csdn.net 阅读全文

posted @ 2017-05-03 11:06 roger888 阅读(198) 评论(0) 推荐(0) 编辑

hadoop balancer 二

摘要： 1.每次迭代一个datanode会移动不超过如下两者中较小的一个的数据量 1）10G 2）能力阈值 dfs.datanode.balance.bandwidthPerSec 每次迭代时间不会超过20分钟 <p>The tool moves blocks from highly utilized da 阅读全文

posted @ 2017-04-13 14:25 roger888 阅读(327) 评论(0) 推荐(0) 编辑

关于datanode多磁盘存储策略

摘要：目的: 节点内各存储磁盘均衡相关参数： dfs.datanode.fsdataset.volume.choosing.policy=org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy 阅读全文

posted @ 2017-04-11 16:54 roger888 阅读(1892) 评论(0) 推荐(0) 编辑

关于zookeeper和zkfc的一些测试

摘要： 1.停掉zookeeper集群 ****进程影响****** zkfc：报错无法连接zookeeper.ClientCnxn java.net.connectexception:拒绝连接，但不会shutdown nn ：无影响，未发生切换或shutdown ****命令影响****** hdfs h 阅读全文

posted @ 2017-02-14 11:40 roger888 阅读(1517) 评论(0) 推荐(0) 编辑

使用nfs3将hdfs挂载到本地或远程目录（非kerberos适用）

摘要：最基本的配置方法，aix、kerberos等的操作详见http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsNfsGateway.html nfs3挂在到本地后，可以允许如下操作： Users can br 阅读全文

posted @ 2016-11-24 14:55 roger888 阅读(1299) 评论(0) 推荐(0) 编辑

redis学习——系统管理

摘要： Redis系统管理实验简介上一节实验讲述了Redis的基本数据类型，本实验继续讲解Redis相关命令及管理操作。在Redis中，命令大小写不敏感。一、适合全体类型的常用命令启动redis服务和redis-cli命令界面继续后续实验：（1）EXISTS and DEL EXISTS key 阅读全文

posted @ 2016-11-23 15:53 roger888 阅读(278) 评论(0) 推荐(0) 编辑

redis学习——数据类型

摘要：一、内容简介 Redis不仅仅是简单的key-value 存储器，同时也是一种data structures server。传统的key-value是指支持使用一个key字符串来索引value字符串的存储，而Redis中，value不仅仅支持字符串，还支持更多的复杂结构，包括列表，集合，哈希表等。阅读全文

posted @ 2016-11-23 15:39 roger888 阅读(150) 评论(0) 推荐(0) 编辑

redis学习-简介

摘要： 1. Redis 简介 1.1 Redis是什么 REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。Redis提供了一些丰富的数据结构，包括 lists, sets, ordered sets 以及 has 阅读全文

posted @ 2016-11-23 10:14 roger888 阅读(127) 评论(0) 推荐(0) 编辑