摘要:
此文是基于上一篇文章:Hive环境搭建及测试 因为Hive默认的数据库是derby,不支持同时开启两个./hive的命令终端; 而将Hive的默认数据库修改成mysql后,可以解决该问题。 仅在安装Hive的CloudDeskTop上配置 一、root用户下:上传mysql安装包(mysql-5.5 阅读全文
只有注册用户登录后才能阅读该文。 阅读全文
只有注册用户登录后才能阅读该文。 阅读全文
摘要:
前提条件:已经安装好如下软件 此篇文章基于上一篇文章:zookeeper高可用集群搭建 什么是Hive? 1、Hive是一个基于Hadoop文件系统之上的数据仓库结构。它为数据仓库的管理提供了许多功能:数据ETL(抽取、转换和加载)工具、数据存储管理和大型数据集的查询和分析能力。 2、同时Hive定 阅读全文
摘要:
前提:已经在master01配置好hadoop;在各个slave节点配置好hadoop和zookeeper; (该文是将zookeeper配置在各slave节点上的,其实也可以配置在各master上,在哪配置就在哪启动zookeeper集群) 此文章基于上一篇文章:linux安装配置zookeepe 阅读全文
摘要:
此文是基于上一篇文章:hadoop集群搭建 安装zookeeper: 【在各个slave节点安装zookeeper】 下载地址:http://mirror.bit.edu.cn/apache/zookeeper/ zk节点最好是奇数个,这样子方便在节点中选取leader节点; 上传zookeeper 阅读全文
摘要:
测试小结:1.如果只需要对数据集进行过滤,筛选则只需要编写Mapper类,不需要Reduce类,此时要执行下面一条语句:job.setNumReduceTesk(0);2.如果需要对处理的数据进行分组(group by)、排序(order by)、表连接(join)、排重(distinct)等操作则 阅读全文
摘要:
两张表链接操作(分布式缓存): 假设:其中一张A表,只有20条数据记录(比如group表)另外一张非常大,上亿的记录数量(比如user表) 策略:将数据集小的文件直接装载到内存,然后迭代大文件记录; 分布式缓存的两种角度理解(针对较小数据集):1、将文件不切块,直接存储到各个节点上的本地磁盘中,这种 阅读全文
摘要:
将user表计算后的结果分区存储 测试准备: 首先同步时间,然后master先开启hdfs集群,再开启yarn集群;用jps查看: master上: 先有NameNode、SecondaryNameNode;再有ResourceManager; slave上: 先有DataNode;再有NodeMa 阅读全文
摘要:
将手机用户使用流量的数据进行分组,排序; 测试准备: 首先同步时间,然后master先开启hdfs集群,再开启yarn集群;用jps查看: master上: 先有NameNode、SecondaryNameNode;再有ResourceManager; slave上: 先有DataNode;再有No 阅读全文
摘要:
将user表、group表、order表关;(类似于多表关联查询) 测试准备: 首先同步时间,然后 开启hdfs集群,开启yarn集群;在本地"/home/hadoop/test/"目录创建user表、group表、order表的文件; user文件: group文件: order文件: 测试目标: 阅读全文
摘要:
只有mapTask任务没有reduceTask的情况: 测试准备: 首先同步时间,然后 开启hdfs集群,开启yarn集群;在本地"/home/hadoop/test/"目录创建user文件; user是存了数据的文件,内容如下: (导入hadoop-2.7.3-All.jar包) 测试目标: 让g 阅读全文
摘要:
hadoop集群搭建中配置了mapreduce的别名是yarn [hadoop@master01 hadoop]$ mv mapred-site.xml.template mapred-site.xml [hadoop@master01 hadoop]$ vi mapred-site.xml 单词分 阅读全文
摘要:
使用Hadoop的Java客户端API操作分布式文件系统#获取文件系统实现//hdfs://master01:9000/FileSystem get(URI uri[,Configuration conf[,String user]])//fs.defaultFSFileSystem newInst 阅读全文
摘要:
Hadoop框架详解 Hadoop项目主要包括以下四个模块 ◆ Hadoop Common: 为其他Hadoop模块提供基础设施 ◆ Hadoop HDFS: 一个高可靠、高吞吐量的分布式文件系统 ◆ Hadoop MapReduce: 一个分布式的离线并行计算框架 ◆ Hadoop YARN: 一 阅读全文
摘要:
hadoop集群的搭建: 集群节点初始化: 主机节点(4个节点): Master01:NN进程(NameNode) Slave01:DN进程(DataNode) Slave02:DN进程(DataNode) Slave03:DN进程(DataNode) 一、虚拟机中操作(启动网卡) sh /inst 阅读全文
摘要:
synchronized和ReentrantLock的区别 synchronized是和if、else、for、while一样的关键字,ReentrantLock是类,这是二者的本质区别。 代写 既然ReentrantLock是类,那么它就提供了比synchronized更多更灵活的特性,可以被继承 阅读全文
摘要:
强引用,软引用,弱引用,虚引用:不同的引用类型主要体现在GC上 强引用:如果一个对象具有强引用,它就不会被垃圾回收器回收。即使当前内存空间不足,JVM也不会回收它,而是抛出 OutOfMemoryError 错误,使程序异常终止。如果想中断强引用和某个对象之间的关联,可以显式地将引用赋值为null, 阅读全文
摘要:
1、jvm的内存分配? 栈区,堆区(创建对象的方法),方法区 堆区的对象不被引用时,会被jvm的GC回收;看是否被引用主要是看有没有被栈区和方法区引用。 创建对象的前2者方式都需要显式地调用构造方法. 造成耦合性最高的恰好是第一种,因此你发现无论什么框架,只要涉及到解耦必先减少new的使用. 栈中用 阅读全文
摘要:
封装过程: 1、建立一个web工程 新建一个index.jsp; 1 <%@ page language="java" import="java.util.*" pageEncoding="utf-8"%> 2 <% 3 String path = request.getContextPath(); 阅读全文