08 2013 档案

摘要:一、背景 分布式的集群通常包含非常多的机器,由于受到机器槽位和交换机网口的限制,通常大型的分布式集群都会跨好几个机架,由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架之间的网络速度,并且机架之间机器的网络通信常受到上层交换机间网络带宽的限制。 具体到Hadoop集群,由于hadoop的HDFS对数据文件的分布式存放是按照分块block存储,每个block会有多个副本(默认为3),并且为了数据的安全和高效,所以hadoop默认对3个副本的存放策略为: 第一个block副本放在和client所在的node里(如果client不在集群范围内,则这第一个node是 阅读全文
posted @ 2013-08-28 10:08 I’m Me! 编辑
摘要:一、实验说明1、本实验将使用DNS而不是hosts文件解析主机名;2、使用NFS共享密钥文件,而不是逐个手工拷贝添加密钥;3、复制Hadoop时使用批量拷贝脚本而不是逐台复制。 测试环境:HostnameIPHadoop版本Hadoop功能系统hadoop1192.168.1.1610.20.0namenodenfs服务器端rhel5.4x86hadoop2192.168.1.1620.20.0datanodedns+nfs客服端rhel5.4 x86hadoop3192.168.1.1630.20.0datanodenfs客户端rhel5.4 x86二、DNS的安装与配置 1、上传dns目录 阅读全文
posted @ 2013-08-24 19:31 I’m Me! 编辑
摘要:一、概念部分: 顾名思义,慢查询日志中记录的是执行时间较长的query,也就是我们常说的slow query,通过设--log-slow-queries[=file_name]来打开该功能并设置记录位置和文件名,默认文件名为hostname-slow.log,默认目录也是数据目录。 慢查询日志采用的是简单的文本格式,可以通过各种文本编辑器查看其中的内容。其中记录了语句执行的时刻,执行所消耗的时间,执行用户,连接主机等相关信息。MySQL还提供了专门用来分析满查询日志的工具程序mysqlslowdump,用来帮助数据库管理人员解决可能存在的性能问题。二、slow query log相关变量 2. 阅读全文
posted @ 2013-08-01 15:47 I’m Me! 编辑

点击右上角即可分享
微信分享提示