瞌睡中的葡萄虎

博客园 首页 新随笔 联系 订阅 管理
  148 随笔 :: 0 文章 :: 16 评论 :: 40万 阅读

10 2014 档案

HDFS副本机制&负载均衡&机架感知&访问方式&健壮性&删除恢复机制&HDFS缺点
摘要：副本机制1、副本摆放策略第一副本：放置在上传文件的DataNode上；如果是集群外提交，则随机挑选一台磁盘不太慢、CPU不太忙的节点上；第二副本：放置在于第一个副本不同的机架的节点上；第三副本：与第二个副本相同机架的不同节点上；如果还有更多的副本：随机放在节点中；2、副本系数1）对于上传文件到HDF... 阅读全文
posted @ 2014-10-24 22:33 瞌睡中的葡萄虎 阅读(1717) 评论(0) 推荐(0) 编辑

HDFS Java API 常用操作
摘要：package com.luogankun.hadoop.hdfs.api;import java.io.BufferedInputStream;import java.io.File;import java.io.FileInputStream;import java.io.InputStream... 阅读全文
posted @ 2014-10-23 17:29 瞌睡中的葡萄虎 阅读(702) 评论(0) 推荐(0) 编辑

truncate与delete的区别
摘要：1、delete不能使自动编号返回为起始值。但是truncate能使自动增长的列的值返回为默认的种子。2、truncate只能一次清空，不能按条件删除。但是delete可以按条件清除部分记录。3、truncate清空数据表性能（速度）比delete快。4、truncate不会记录到系统日志，不会触发... 阅读全文
posted @ 2014-10-20 16:23 瞌睡中的葡萄虎 阅读(264) 评论(0) 推荐(0) 编辑

Redis多机功能总结
摘要：1、通过Redis的复制功能，用户可以创建指定服务器的任意多个复制品，每个复制品服务器和被复制的原服务器拥有相同的数据；2、通过将读请求分散给多个从服务器处理，用户可以减少主服务器在处理读请求方面的负担，并提高整个系统处理读请求的能力；3、在一个既有主服务器又有从服务器的系统中，当从服务器下线时，系... 阅读全文
posted @ 2014-10-16 20:31 瞌睡中的葡萄虎 阅读(565) 评论(0) 推荐(0) 编辑

Redis集群创建报错
摘要：Redis集群环境：och163/och164/och165在执行如下脚本时报错：./src/redis-trib.rb create 10.1.253.163:6379 10.1.253.164:6379 10.1.253.165:6379/usr/lib/ruby/gems/1.8/gems/... 阅读全文
posted @ 2014-10-15 12:49 瞌睡中的葡萄虎 阅读(1174) 评论(0) 推荐(0) 编辑

Redis集群搭建&访问
摘要：集群搭建步骤1、创建多个节点；2、为每个节点指派槽，并将多个节点连接起来，组成一个集群；3、当集群数据库的16384个槽都有节点在处理时，集群进入上线状态；要求：搭建一个包含6个节点的Redis集群，其中三个主节点，三个从节点，每个主节点都有一个从节点注：在极端情况下，如果将16384个槽都指派给一... 阅读全文
posted @ 2014-10-15 09:41 瞌睡中的葡萄虎 阅读(6195) 评论(0) 推荐(0) 编辑

Redis多机功能之Sentinel
摘要：Sentinel的目的：监视主从服务器，并在主服务器下线时自动进行故障转移启动Sentinel通过执行Redis安装文件中的redis-sentinel程序，可以启动一个Sentinel实例：redis-sentinel sentinel.conf因为Redis的Sentinel实际上就是一个运行在... 阅读全文
posted @ 2014-10-14 13:39 瞌睡中的葡萄虎 阅读(1078) 评论(0) 推荐(1) 编辑

Redis集群功能概述
摘要：在单机Redis中介绍过Redis的复制特性以及Redis Sentinel和twemproxy，其中：复制：可以创建指定服务器的复制品，这些复制品可以用户扩展系统处理读请求的能力；Redis Sentinel：可以在复制特性的基础上，通过监视主从服务器并在主服务器故障时执行自动故障转移来保证系统的... 阅读全文
posted @ 2014-10-14 13:39 瞌睡中的葡萄虎 阅读(611) 评论(0) 推荐(0) 编辑

Redis单机版安装与部署
摘要：Redis官网：http://redis.io下载Rediswget https://github.com/antirez/redis/archive/3.0.0-rc1.tar.gz解压并安装Redistar -zxvf 3.0.0-rc1.tar.gz cd redis-3.0.0-rc1mak... 阅读全文
posted @ 2014-10-13 19:36 瞌睡中的葡萄虎 阅读(314) 评论(0) 推荐(0) 编辑

Redis多机功能之复制
摘要：复制的目的：创建具有相同数据库的拷贝服务器；扩展系统处理读请求的能力；复制的定义Redis的复制（replication）功能允许用户根据一个Redis服务器来创建任意多个该服务器的复制品，其中被复制的服务器为主服务器（master），而通过复制创建出来的服务器则称为从服务器（slave）；主从服务... 阅读全文
posted @ 2014-10-13 10:33 瞌睡中的葡萄虎 阅读(396) 评论(0) 推荐(0) 编辑

Redis多机功能介绍
摘要：Redis多机功能目的：以单台Redis服务器过渡到多台Redis服务器Redis单机在生产环境中存在的问题1、内存容量不足Redis使用内存来存书数据库中的数据，但是对于一台机器来说，硬件的内存容量是有限的，当我们需要存储的数据量超过机器的内存数量时，一台服务器就没办法满足我们的要求；比如：要存储... 阅读全文
posted @ 2014-10-12 20:58 瞌睡中的葡萄虎 阅读(695) 评论(0) 推荐(0) 编辑

Hadoop JobHistory
摘要：hadoop jobhistory记录下已运行完的MapReduce作业信息并存放在指定的HDFS目录下，默认情况下是没有启动的，需要配置完后手工启动服务。mapred-site.xml添加如下配置 mapreduce.jobhistory.address hadoop000:10020 Ma... 阅读全文
posted @ 2014-10-11 16:22 瞌睡中的葡萄虎 阅读(12457) 评论(1) 推荐(1) 编辑

Hive基础之COALESCE用法
摘要：语法: COALESCE(T v1, T v2, …) 返回参数中的第一个非空值；如果所有值都为NULL，那么返回NULL以emp表为例：desc emp;empno int None enam... 阅读全文
posted @ 2014-10-10 10:46 瞌睡中的葡萄虎 阅读(39965) 评论(0) 推荐(0) 编辑

junit模板方法模式应用
摘要：模板方法模式定义： 定义一个操作中的算法骨架，而将一些步骤延伸到子类中去，使得子类可以不改变一个算法的结构，即可重新定义该算法的某些特定步骤。这里需要复用的是算法的结构，也就是步骤，而步骤的实现可以在子类中完成；构成： 父类角色：提供模板； 子类角色：为模板提供实现；java代码实现：publ... 阅读全文
posted @ 2014-10-05 14:34 瞌睡中的葡萄虎 阅读(456) 评论(0) 推荐(0) 编辑

junit适配器模式应用
摘要：适配器模式定义： 将一个类的接口转换成客户希望的另外一个接口。Adapter模式使得原本由于接口不兼容而不能一起工作的那些类可以一起工作；构成： 目标抽象角色（Target）：定义客户要用的特定领域的接口 适配器（Adapter）：调用另一个接口，作为一个转换器 适配器（Adaptee）：定... 阅读全文
posted @ 2014-10-05 14:34 瞌睡中的葡萄虎 阅读(416) 评论(0) 推荐(0) 编辑

junit组合模式应用
摘要：组合模式定义： 将对象组合成树形结构以表示“部分-整体”的层次结构。Composite模式使得用户对单个对象和组合对象的使用具有一致性构成： Component：这是一个抽象角色，它给参加组合的对象规定一个接口。这个角色给出共有的接口和默认的行为。其实就我们的Test接口，它定义出run方法 ... 阅读全文
posted @ 2014-10-05 14:34 瞌睡中的葡萄虎 阅读(524) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示