Hadoop - 随笔分类 - lnlvinso

LSM树由来、设计思想以及应用到HBase的索引

摘要：原文链接：http://www.cnblogs.com/yanghuahui/p/3483754.html 讲LSM树之前，需要提下三种基本的存储引擎，这样才能清楚LSM树的由来：哈希存储引擎是哈希表的持久化实现，支持增、删、改以及随机读取操作，但不支持顺序扫描，对应的存储系统为key-valu 阅读全文

posted @ 2017-06-14 22:15 lnlvinso 阅读(178) 评论(0) 推荐(0) 编辑

JBOD

摘要：JBOD(Just a Bunch Of Disks)不是RAID，它是可以把不同容量的硬盘串连成一个大的逻辑盘，与RAID0不同的是在写入数据时是向一个硬盘写入，写满后再向下一个硬盘写。尽管建议采用RAID(Redundant Array of Independent Disk,即磁盘阵列)作为阅读全文

posted @ 2017-06-04 22:41 lnlvinso 阅读(3811) 评论(0) 推荐(0) 编辑

hadoop多文件输出

摘要：原文链接：http://www.cnblogs.com/zhoujingyu/p/5316070.html 现实环境中，常常遇到一个问题就是想使用多个Reduce，但是迫于setup和cleanup在每一个Reduce中会调用一次，只能设置一个Reduce，无法是实现负载均衡。问题，如果要在red 阅读全文

posted @ 2017-05-21 21:57 lnlvinso 阅读(257) 评论(0) 推荐(0) 编辑

ext4 关闭延迟分配

摘要：ext4的延迟分配特性(delalloc)保证文件在磁盘中的连续，提高文件的读写性能，但是却增加了丢数据的概率。 Hadoop和HBase中建议将延迟分配特性关闭。可以使用下面的方法关闭延迟分配 1. mount -t ext4 -o remount,nodelalloc /${dev} /${m 阅读全文

posted @ 2017-05-07 22:25 lnlvinso 阅读(1151) 评论(0) 推荐(0) 编辑

Hadoop RPC简单例子

摘要：jdk中已经提供了一个RPC框架—RMI，但是该PRC框架过于重量级并且可控之处比较少，所以Hadoop RPC实现了自定义的PRC框架。同其他RPC框架一样，Hadoop RPC分为四个部分：（1）序列化层：Clent与Server端通信传递的信息采用了Hadoop里提供的序列化类或自定义的W 阅读全文

posted @ 2017-04-12 22:15 lnlvinso 阅读(237) 评论(0) 推荐(0) 编辑

Hadoop学习笔记五

摘要：一、uber(u:ber)模式 MapReduce以Uber模式运行时，所有的map，reduce任务都在一个jvm中运行，对于小的mapreduce任务，uber模式的运行将更为高效。 uber模式配置，在mapred-site.xml中进行配置，如下 mapreduce.job.ubertask 阅读全文

posted @ 2017-03-17 22:15 lnlvinso 阅读(420) 评论(0) 推荐(0) 编辑

Hadoop学习笔记四

摘要：一、fsimage，edits和datanode的block在本地文件系统中位置的配置 fsimage：hdfs-site.xml中的dfs.namenode.name.dir 值例如file:///opt/software/hadoop/data/nn/image edits：hdfs-site. 阅读全文

posted @ 2017-03-11 21:59 lnlvinso 阅读(290) 评论(0) 推荐(0) 编辑

Hadoop学习笔记三

摘要：一、设置HDFS不进行权限检查默认的HDFS上的文件类似于Linux中的文件，是有权限的。例如test用户创建的文件，root用户如果没有写权限，则不能进行删除。有2种办法进行修改，修改文件的权限。或者设置不进行HDFS的权限检查，在hdfs-site.xml中添加： <property> <n 阅读全文

posted @ 2017-03-01 22:12 lnlvinso 阅读(146) 评论(0) 推荐(0) 编辑

Hadoop学习笔记二

摘要：一、设置无密码sudo权限，不用在普通用户和root用户间来回切换 chmod u+w /etc/sudoers vim /etc/sudoers #首行添加如下的内容： hadoop ALL=(root)NOPASSWD:ALL 再执行chmod u-w /etc/sudoers 设置成功，测试：阅读全文

posted @ 2017-02-19 21:47 lnlvinso 阅读(157) 评论(0) 推荐(0) 编辑

Hadoop学习笔记一

摘要：云帆大数据视频学习笔记，记录如下。一、主机名设置的规范 /etc/hosts文件中添加如下的记录： 192.168.1.128 hadoop-yarn.cloudyhadoop.com had-yarn 需要注意的地方： 1.顺序问题，带域名的主机名在前，短主机名在后 2.不能出现大写字母 3.不阅读全文

posted @ 2017-02-10 22:27 lnlvinso 阅读(109) 评论(0) 推荐(0) 编辑

随笔分类 - Hadoop

搜索

常用链接

积分与排名

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论