摘要:
##一、zookeeper介绍 ####1、概述 Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 ####2、特点 1)Zoo 阅读全文
摘要:
[Toc] 一、Docker是什么 概述: Docker是Linux容器封装,提供一些简单易用的容器使用接口。 Docker将应用程序与该程序的依赖,打包在一个文件里面,运行这个文件,就会生成一个虚拟容器。程序在虚拟容器中运行的时候,就好像运行在真的物理机上一样。 Docker提供版本管理、复制、分 阅读全文
摘要:
MapReduce异常:java.lang.ClassCastException: interface javax.xml.soap.Text 解决方法: 1、原因是因为引入Text包时引入错误的包: 2、把这个Text替换为 阅读全文
摘要:
[Toc] Hive常见属性配置 1、Hive数据仓库位置配置 1)Default数据仓库的最原始位置是在hdfs上的:/user/hive/warehouse路径下 2)在仓库目录下,没有对默认的数据库default创建文件夹。如果某张表属于default数据库,直接在数据仓库目录下创建一个文件夹 阅读全文
摘要:
[Toc] 一、Hive基本概念 1.1 什么是Hive Hive:由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。 本质是:将HQL/SQL转化成MapReduce程序。 1)Hiv 阅读全文
摘要:
[TOC] 介绍 百度百科对git的定义如下:git是一个开源的分布式版本控制系统,可以有效、高速地处理从很小到非常大的项目版本管理。 1.什么是版本控制呢? 版本控制是指对软件开发过程中各种程序代码、配置文件及说明文档等文件变更的管理,是软件配置管理的核心思想之一。 可以记录文件的所有历史变化、随 阅读全文