摘要：
此文是基于上一篇文章：Hive环境搭建及测试 因为Hive默认的数据库是derby，不支持同时开启两个./hive的命令终端； 而将Hive的默认数据库修改成mysql后，可以解决该问题。 仅在安装Hive的CloudDeskTop上配置 一、root用户下：上传mysql安装包(mysql-5.5 阅读全文
只有注册用户登录后才能阅读该文。 阅读全文
只有注册用户登录后才能阅读该文。 阅读全文
摘要：
前提条件：已经安装好如下软件 此篇文章基于上一篇文章：zookeeper高可用集群搭建 什么是Hive？ 1、Hive是一个基于Hadoop文件系统之上的数据仓库结构。它为数据仓库的管理提供了许多功能：数据ETL（抽取、转换和加载）工具、数据存储管理和大型数据集的查询和分析能力。 2、同时Hive定 阅读全文
摘要：
前提：已经在master01配置好hadoop；在各个slave节点配置好hadoop和zookeeper； （该文是将zookeeper配置在各slave节点上的，其实也可以配置在各master上，在哪配置就在哪启动zookeeper集群） 此文章基于上一篇文章：linux安装配置zookeepe 阅读全文
摘要：
此文是基于上一篇文章：hadoop集群搭建 安装zookeeper： 【在各个slave节点安装zookeeper】 下载地址：http://mirror.bit.edu.cn/apache/zookeeper/ zk节点最好是奇数个，这样子方便在节点中选取leader节点； 上传zookeeper 阅读全文
摘要：
测试小结：1.如果只需要对数据集进行过滤，筛选则只需要编写Mapper类，不需要Reduce类，此时要执行下面一条语句:job.setNumReduceTesk(0);2.如果需要对处理的数据进行分组（group by）、排序（order by）、表连接（join）、排重（distinct）等操作则 阅读全文
摘要：
两张表链接操作（分布式缓存）： 假设：其中一张A表，只有20条数据记录（比如group表）另外一张非常大，上亿的记录数量（比如user表） 策略：将数据集小的文件直接装载到内存，然后迭代大文件记录； 分布式缓存的两种角度理解（针对较小数据集）：1、将文件不切块，直接存储到各个节点上的本地磁盘中，这种 阅读全文
摘要：
将user表计算后的结果分区存储 测试准备： 首先同步时间，然后master先开启hdfs集群，再开启yarn集群；用jps查看： master上： 先有NameNode、SecondaryNameNode;再有ResourceManager; slave上： 先有DataNode；再有NodeMa 阅读全文
摘要：
将手机用户使用流量的数据进行分组，排序； 测试准备： 首先同步时间，然后master先开启hdfs集群，再开启yarn集群；用jps查看： master上： 先有NameNode、SecondaryNameNode;再有ResourceManager; slave上： 先有DataNode；再有No 阅读全文
摘要：
将user表、group表、order表关；（类似于多表关联查询） 测试准备: 首先同步时间，然后 开启hdfs集群，开启yarn集群；在本地"/home/hadoop/test/"目录创建user表、group表、order表的文件； user文件： group文件： order文件： 测试目标： 阅读全文
摘要：
只有mapTask任务没有reduceTask的情况： 测试准备: 首先同步时间，然后 开启hdfs集群，开启yarn集群；在本地"/home/hadoop/test/"目录创建user文件； user是存了数据的文件，内容如下： （导入hadoop-2.7.3-All.jar包） 测试目标： 让g 阅读全文
摘要：
hadoop集群搭建中配置了mapreduce的别名是yarn [hadoop@master01 hadoop]$ mv mapred-site.xml.template mapred-site.xml [hadoop@master01 hadoop]$ vi mapred-site.xml 单词分 阅读全文
摘要：
使用Hadoop的Java客户端API操作分布式文件系统#获取文件系统实现//hdfs://master01:9000/FileSystem get(URI uri[,Configuration conf[,String user]])//fs.defaultFSFileSystem newInst 阅读全文
摘要：
Hadoop框架详解 Hadoop项目主要包括以下四个模块 ◆ Hadoop Common: 为其他Hadoop模块提供基础设施 ◆ Hadoop HDFS: 一个高可靠、高吞吐量的分布式文件系统 ◆ Hadoop MapReduce: 一个分布式的离线并行计算框架 ◆ Hadoop YARN: 一 阅读全文
摘要：
hadoop集群的搭建： 集群节点初始化： 主机节点（4个节点）： Master01:NN进程（NameNode） Slave01:DN进程（DataNode） Slave02:DN进程（DataNode） Slave03:DN进程（DataNode） 一、虚拟机中操作(启动网卡) sh /inst 阅读全文
摘要：
synchronized和ReentrantLock的区别 synchronized是和if、else、for、while一样的关键字，ReentrantLock是类，这是二者的本质区别。 代写 既然ReentrantLock是类，那么它就提供了比synchronized更多更灵活的特性，可以被继承 阅读全文
摘要：
强引用,软引用,弱引用,虚引用：不同的引用类型主要体现在GC上 强引用：如果一个对象具有强引用，它就不会被垃圾回收器回收。即使当前内存空间不足，JVM也不会回收它，而是抛出 OutOfMemoryError 错误，使程序异常终止。如果想中断强引用和某个对象之间的关联，可以显式地将引用赋值为null， 阅读全文
摘要：
1、jvm的内存分配？ 栈区，堆区（创建对象的方法），方法区 堆区的对象不被引用时，会被jvm的GC回收；看是否被引用主要是看有没有被栈区和方法区引用。 创建对象的前2者方式都需要显式地调用构造方法. 造成耦合性最高的恰好是第一种,因此你发现无论什么框架,只要涉及到解耦必先减少new的使用. 栈中用 阅读全文
摘要：
封装过程： 1、建立一个web工程 新建一个index.jsp; 1 <%@ page language="java" import="java.util.*" pageEncoding="utf-8"%> 2 <% 3 String path = request.getContextPath(); 阅读全文