涤新云

2016年11月18日

Hadoop_10_shuffle02_详解Shuffle过程【来源网络】推荐更为详细

摘要：网址：http://www.cnblogs.com/felixzh/p/4680808.html Shuffle过程，也称Copy阶段。reduce task从各个map task上远程拷贝一片数据，并针对某一片数据，如果其大小超过一定的阀值，则写到磁盘上，否则直接放到内存中。官方的Shuffle 阅读全文

posted @ 2016-11-18 02:55 涤新云阅读(249) 评论(0) 推荐(0) 编辑

Hadoop_10_shuffle01_Hadoop中的Shuffle详解【来源网络】

摘要：原文网址：http://blog.itpub.net/30316686/viewspace-2057204/ 详细的了解Shuffle过程，能更好的对hadoop集群进行优化。 MapReduce 框架的核心步骤主要分两部分：Map 和Reduce。当你向MapReduce 框架提交一个计算作业时，阅读全文

posted @ 2016-11-18 02:24 涤新云阅读(182) 评论(0) 推荐(0) 编辑

2016年11月16日

Oozie_04总结一下workflowf的运行流程【20161116】

摘要： 4.1 bin/oozie ..... 提交任务 [hadoop@hadoop01 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop01:11000/oozie -config examples/apps/map-reduce/job 阅读全文

posted @ 2016-11-16 01:57 涤新云阅读(506) 评论(0) 推荐(0) 编辑

Oozie_03运行官方案例【20161116】

摘要： 3.1官方的案例（1）Oozie根目录下找到 oozie-examples.tar.gz （2）解压tar -zxvf oozie-examples.tar.gz 生成example文件夹 [hadoop@hadoop01 oozie-4.0.0-cdh5.3.6]$ tar -zxvf oozi 阅读全文

posted @ 2016-11-16 01:56 涤新云阅读(803) 评论(0) 推荐(0) 编辑

Oozie_02安装遇到错误【20161116】

摘要：【错误原因】hadoop的core-site.xml配置错误把用户名hadoop配置成了主机名hadoop01 <property> <name>hadoop.proxyuser.hadoop01.hosts</name> <value>*</value></prope 阅读全文

posted @ 2016-11-16 00:07 涤新云阅读(507) 评论(0) 推荐(0) 编辑

Oozie_01安装教程【20161116】

摘要：说明：hadoop用的是hadoop-2.5.0-cdh5.3.6 Oozie用的是oozie-4.0.0-cdh5.3.6 该测试环境用户名为hadoop 主机名为hadoop01 2.4安装部署（1）下载上传到目录： /opt/software/cdh-5.3.6 一个安装包一个ExtJS包阅读全文

posted @ 2016-11-16 00:04 涤新云阅读(691) 评论(0) 推荐(0) 编辑

2016年11月11日

hadoop2.x常用端口及定义方法

摘要： Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooK 阅读全文

posted @ 2016-11-11 06:24 涤新云阅读(168) 评论(0) 推荐(0) 编辑

2016年11月10日

谷歌浏览器怎么调试js 谷歌浏览器调试javascript教程

摘要：谷歌浏览器是一款由谷歌公司开发的浏览器。谷歌浏览器是一款基于其他开源软件所撰写的。下面小编为大家分享一篇谷歌浏览器调试javascript的教程，希望帮助大家首先我们打开开发者工具，你可以直接在页面上点击右键，然后选择审查元素或者在Chrome的工具中找到或者你直接记住这个快捷方式： Ctrl+S 阅读全文

posted @ 2016-11-10 17:49 涤新云阅读(741) 评论(0) 推荐(0) 编辑

2016年11月8日

找回密码（一）【实际项目】

摘要：（一）第一个jsp页面页面效果代码（二）跳转到controller方法（三）找回密码页面页面效果（四）controller方法思路：该方法首先验证用户名和邮箱，如果不存在返回; 然后发邮件到邮箱验证不通过页面方法主代码方法第一步的验证码代码方法中的发送邮件方法邮件图片为：阅读全文

posted @ 2016-11-08 18:31 涤新云阅读(2012) 评论(0) 推荐(0) 编辑

解决使用SecureCRT出现的Generic clipboard failure错误【自己亲身经历】

摘要： 2016年11月8日：【解决办法】把金山词霸卸载了血的教训浪费了好几个小时相关文章 1、RecureCRT could not get data from the Clipboard 和SAP快捷剪切和粘贴（Q）功能不能用 http://blog.163.com/huangbao_007/blo 阅读全文

posted @ 2016-11-08 02:59 涤新云阅读(1933) 评论(0) 推荐(0) 编辑

公告