摘要:
一,mina的架构mina 架构可以大致分为三部分,ioService ,ioFilterChain , IoHandlerioService:用于接受服务或者连接服务,例如socket 接收器,连接器。ioFilterChain:对接受的数据或发送的数据进行处理,例如接收到的字节数组转化成字符串,... 阅读全文
摘要:
Unix下可用的5种I/O模型分别是:阻塞IO非阻塞IOIO复用(select和poll)信号驱动式IO(SIGIO)异步IO(POSIX的aio系列函数)阻塞式I/O模型:本例子中,我们吧recvfrom函数视为系统调用,为的是区分应用进程和内核,不论它是如何实现的。在上图中,进程调用recvfr... 阅读全文
摘要:
HADOOP中可以分为两个大的模块,存储模块和计算模块。HDFS作为存储模块,JobTracker,TaskTracker构成计算模块。1.HADOOP的文件是以HDFS格式存储的HDFS是一种文件系统,专为大规模分布式数据处理而设计的,我们可以把一个很大的数据集,在HDFS中存储为单个文件。HDF... 阅读全文
摘要:
hadoop:数据流转图(基于hadoop 0.18.3):通过一个最简单的例子来说明hadoop中的数据流转。hadoop:数据流转图(基于hadoop 0.18.3):这里使用一个例子说明hadoop中的数据流转过程,这个例子是统计一些文章中词汇的总数。首先files表示这些需要统计词汇的文章。... 阅读全文
摘要:
hmater负责把region均匀到各个region server 。hmaster中有一个线程任务是专门处理负责均衡的,默认每隔5分钟执行一次。每次负载均衡操作可以分为两步:生成负载均衡计划表Assignment Manager 类执行计划表负载均衡方法入口以下代码的Hbase版本为0.96.2在... 阅读全文
摘要:
下面看下hbase:meta 表的结构,hbase:meta表中,保存了每个表的region地址,还有一些其他信息,例如region的名字,HRegionInfo,服务器的信息。hbase:meta表中每一行对应一个单一的region。例如我们现在创建一个表名叫"t"。hbase:meta中对应的行... 阅读全文
摘要:
在Hbase中split是一个很重要的功能,Hbase是通过把数据分配到一定数量的region来达到负载均衡的。一个table会被分配到一个或多个region中,这些region会被分配到一个或者多个regionServer中。在自动split策略中,当一个region达到一定的大小就会自动spli... 阅读全文
摘要:
本文主要是比较三种分布缓存负载均衡的方法,第一种是最简单的将 key的hash值对机器数取模算法,第二种是一致性哈希算法,第三种是淘宝开源的缓存解决方案tair的均衡算法。下面来分析下这三种算法的优缺点。第一种:传统的数据分布方法,将key的hash值对机器数取模 这个算法的实现非常简单,计算ha... 阅读全文
摘要:
在VPS的数据最好定时备份,免得服务器出了什么问题,数据就全丢了。我使用dropbox定时同步wordpress文件夹和数据库信息。 首先下载dropbox?1wget -O dropbox.tar.gz http://www.dropbox.com/download/?plat=lnx.x86 ... 阅读全文
摘要:
环境:debian 7.0加载BIOS1.从点击电源键开始,首先加载BIOS进行硬件检测,然后根据配置读取启动设备,然后读取Boot Loader ,linux中主流的boot Loader是grub。Boot Loader 安装在启动装置的第一个磁区内,也就是MBR(Master Boot Rec... 阅读全文
摘要:
根据以下几个步骤来快速了解一下python,目标是可以利用python来处理一些简易的问题或者写一些工具。1.编写Hello world2.学习 if,while,for 的语法3.学习该语言是怎么表示字符串和数组,map的。4.学习怎么定义函数和使用函数5.学习怎么创建对象,和使用对象。6.写一个... 阅读全文