2017年7月15日

CDH Namenode自动切换(active-standby)

摘要: 1. 先切换到hdfs 用户,做免密码登录 ssh -keygen -t rsa touch /var/lib/hadoop-hdfs/.ssh/authorized_keys chmod 755 /var/lib/hadoop-hdfs/.ssh/authorized_keys 把两台hdfs 用 阅读全文

posted @ 2017-07-15 14:15 Gcam 阅读(1646) 评论(0) 推荐(0) 编辑

MapReduce 2 中一些基础数据类型

摘要: 1. LongWritable, IntWritable, Text 均是 Hadoop 中实现的用于封装 Java 数据类型的类,这些类实现了WritableComparable接口,都能够被串行化从而便于在分布式环境中进行数据交换,以及进行大小比较。你可以将它们分别视为long,int,String 的替代品。2. Hadoop提供了如下内容的数据类型,这些数据类型都实现了WritableCo... 阅读全文

posted @ 2017-07-15 13:50 Gcam 阅读(487) 评论(0) 推荐(0) 编辑

mapreduce出现类似死锁情况

摘要: 1. mapreduce.job.reduce.slowstart.completedmaps: 在往hbase表里通过bulkload导数据时,某个mapreduce跑了一个多小时还没跑,看yarn界面,发现map还有一小部分没跑完,没跑完的map全在pending,running中没有,同时re 阅读全文

posted @ 2017-07-15 13:28 Gcam 阅读(398) 评论(0) 推荐(0) 编辑

2017年7月13日

HDFS

摘要: 一、HDFS基础知识 1. namenode 负责: 管理着文件系统命名空间 <!--WizRtf2Html Charset=134 --> – <!--WizRtf2Html Charset=134 -->维护着文件系统树及树中的所有文件和目录 管理着文件系统命名空间 存储元数据 <!--WizR 阅读全文

posted @ 2017-07-13 23:04 Gcam 阅读(188) 评论(0) 推荐(0) 编辑

No route to host

摘要: 1.在管理Hadoop 集群时, 有时会遇见:No route to host 问题 解决办法:尝试关闭机器防火墙 阅读全文

posted @ 2017-07-13 22:49 Gcam 阅读(723) 评论(0) 推荐(0) 编辑

Hadoop内存分配

摘要: 9. Determine HDP Memory Configuration Settings Two methods can be used to determine YARN and MapReduce memory configuration settings: Use the HDP Util 阅读全文

posted @ 2017-07-13 22:38 Gcam 阅读(693) 评论(0) 推荐(0) 编辑

dfs.datanode.max.transfer.threads

摘要: An HDFS DataNode has an upper bound on the number of files that it will serve at any one time: <property> <name>dfs.datanode.max.transfer.threads</nam 阅读全文

posted @ 2017-07-13 22:11 Gcam 阅读(962) 评论(0) 推荐(0) 编辑

2013年11月8日

小记

摘要: 1. Jquery取服务器控件的ID问题若将其放入用户控件中或继承自母版页的页面中,其ID值前面会自动加上其他值,变成一长串(如:column0_webcontrol_hidweb), 此时得取其ClientID,JS中:document.getElementById("");Jquery中可以用:$j('*[id$=hidweb]').val();2. $(this).attr('checked')在不同版本的Jquery中选中和未选中返回值的问题 原来Jquery v1.6以后$(this).attr('checked') 阅读全文

posted @ 2013-11-08 16:51 Gcam 阅读(186) 评论(0) 推荐(0) 编辑

2013年8月26日

CSS 回流(reflow)

摘要: 摘录:1. 回流 回流是指浏览器为了重新渲染部分或者全部的文档而重新计算文档中元素的位置和几何构造的过程。 因为回流可能导致整个dom树的重新构造,所以会影响性能。2. display:none;和visibility:hidden a. display:none; 1)元素隐藏后在文档流中不会占位 2)会造成回流 b. visibility:hidden 1)元素隐藏后仍在文档流中占位(视觉上的不可见) 2)不会造成回流 阅读全文

posted @ 2013-08-26 17:27 Gcam 阅读(1601) 评论(0) 推荐(0) 编辑

window.onload 和 $(document).ready()

摘要: 一. window.onload 1. 必须等到页面上所有元素(包括图片, JS文件,CSS文件等外部资源)加载完成后才执行 2. window.onload绑定多个函数时,只会执行最后一个二. $(document).ready() 1. $(document).ready(function(){}); 可以简写成$(function(){});2. DOM 树就绪后(无需等待图片的加载)执行,与window.onload相比,$(document).ready()更早运行 3. $(function(){}) 可以多次绑定不同函数,且这些函数都得到执行 阅读全文

posted @ 2013-08-26 15:25 Gcam 阅读(163) 评论(0) 推荐(0) 编辑

导航