上一页 1 2 3 4 5 6 7 8 9 ··· 20 下一页
  2015年8月29日
该文被密码保护。 阅读全文
posted @ 2015-08-29 22:29 bendantuohai 阅读(1) 评论(0) 推荐(0) 编辑
摘要: 1. 概述在传统数据库(如:MYSQL)中,JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作,同样常见且耗时,由于Hadoop的独特设计思想,当进行JOIN操作时,有一些特殊的技巧。本文首先介绍了Hadoop上通常的JOIN实现方法,然后给出了几种针对不同输入数据集的优化方法。... 阅读全文
posted @ 2015-08-29 21:34 bendantuohai 阅读(251) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/xc635960736/article/details/7049863Hibernae 的延迟加载Hibernae 的延迟加载是一个非常常用的技术,实体的集合属性默认会被延迟加载,实体所关联的实体默认也会被延迟加载。Hibernate 通过这种延迟加载来降低... 阅读全文
posted @ 2015-08-29 19:51 bendantuohai 阅读(155) 评论(0) 推荐(0) 编辑
摘要: Java中类的加载、连接和初始化类的加载、连接和初始化先介绍一下JVM和类JVM和类:当我们调用Java命令运行某个Java程序时,该命令将会启动一个Java虚拟机进程,不管该Java程序有多么复杂,该程序启动的所有线程,所有变量都处于该Java虚拟机进程里,它们都使用该JVM进程的内存区。当系统出... 阅读全文
posted @ 2015-08-29 17:34 bendantuohai 阅读(384) 评论(0) 推荐(0) 编辑
  2015年8月28日
摘要: http://my.oschina.net/fenno/blog/95916 阅读全文
posted @ 2015-08-28 22:33 bendantuohai 阅读(107) 评论(0) 推荐(0) 编辑
摘要: Hbase原理概述HBase是一个构建在HDFS上的分布式列存储系统;HBase是基于Google BigTable模型开发的,典型的key/value系统;HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储;从逻辑上讲,HBase将数据按照表、行和列进行存储。与... 阅读全文
posted @ 2015-08-28 22:21 bendantuohai 阅读(351) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/keda8997110/article/details/8474349 阅读全文
posted @ 2015-08-28 21:47 bendantuohai 阅读(117) 评论(0) 推荐(0) 编辑
摘要: reduce的数目到底和哪些因素有关1、我们知道map的数量和文件数、文件大小、块大小、以及split大小有关,而reduce的数量跟哪些因素有关呢?设置mapred.tasktracker.reduce.tasks.maximum的大小可以决定单个tasktracker一次性启动reduce的数目... 阅读全文
posted @ 2015-08-28 20:50 bendantuohai 阅读(419) 评论(0) 推荐(0) 编辑
摘要: mapreduce任务中Shuffle和排序的过程流程分析: Map端:1.每个输入分片会让一个map任务来处理,默认情况下,以HDFS的一个块的大小(默认为64M)为一个分片,当然我们也可以设置块的大小。map输出的结果会暂且放在一个环形内存缓冲区中(该缓冲区的大小默认为100M,由io.sort... 阅读全文
posted @ 2015-08-28 16:36 bendantuohai 阅读(2547) 评论(0) 推荐(0) 编辑
摘要: 角色描述:JobClient:执行任务的客户端JobTracker:任务调度器TaskTracker:任务跟踪器Task:具体的任务(Map OR Reduce)从生命周期的角度来看,mapreduce流程大概经历这样几个阶段:初始化、分配、执行、反馈、成功与失败的后续处理每个阶段所做的事情大致如下... 阅读全文
posted @ 2015-08-28 12:15 bendantuohai 阅读(196) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 9 ··· 20 下一页