摘要: 简介HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。HDFS有很多特点: ①保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。 ②运行在廉价的机器上。 ③适合大数据的处理。多大?多小?HDFS默认会将文件分割成block,64M为1个block。然后将block按键值对存储在HDFS上,并将键值对的映射存到内存中。如果小文件太多,那内存的负担会很重。如上图所示,HDFS也是按照Master和Slave 阅读全文
posted @ 2013-11-27 17:35 Roader 阅读(227) 评论(0) 推荐(0) 编辑
摘要: 产品名称:为方便交流给产品起一个名字:“UP”,全称Ugly Product。产品定义:UP是一个服务性产品,集成不同厂家的硬件产品来供应用层使用,我们给硬件起名叫C,全称Card(一张嵌入式卡)产品现状:协议层1.既然是集成不同厂家的硬件产品,就需要对同类硬件提取通用功能,并形成一个硬件接入规范,定义为CP(Card Protocol)2.既然是一个服务性产品,肯定需要一套协议,所以定义一套产品协议,协议名字叫UPP(Ugly Product Protocol)此时的UP变成了如下结构:UPP-->CP-->Card架构3.既然是一个服务性产品,必定要考虑到高并发访问,因此将产品 阅读全文
posted @ 2013-11-27 11:56 Roader 阅读(326) 评论(0) 推荐(0) 编辑