摘要： 搭建Hive完成之后, 启动Hive失败, 显示如下错误:[ERROR] Terminal initialization failed; falling back to unsupportedjava.lang.IncompatibleClassChan... 阅读全文

摘要： Hive--构建数据仓库的工具为什么会出现Hive(Why?)什么是Hive(What?)Hive数据处理流程(How)Hive架构Hive解析SQL的过程为什么会出现Hive(Why?) 话是这么说的: “懒人推动科技的发展”. Hive的出现都是因为人... 阅读全文

摘要： 集群搭建集群规划汇总Linux 环境准备Hadoop Ha 集群搭建Yarn 搭建Hive 搭建Spark 搭建Spark Standalone 模式Spark Yarn 模式Kafka 搭建Hbase 搭建Sqoop 搭建Flume 搭建本文将持续更新…集... 阅读全文

摘要： Yarn搭建Yarn资源调度流程集群规划Yarn搭建步骤查看Yarn的WebUI监控页面提交MapReduce应用程序到Yarn上运行并在监控页面查看Yarn资源调度流程想了解Yarn资源调度流程, 可点击此处查看集群规划角色node01node02node... 阅读全文

摘要： 搭建准备工作本地机环境准备安装包虚拟机工具连接工具上传工具CentOS虚拟机环境搭建通用配置静态IP配置时间同步配置JDK环境配置虚拟机clone && 主机名配置各节点地址配置免密登录配置防火墙配置修改生效本地机环境准备安装包JDK-1.8以上的版本, 需... 阅读全文

摘要： RDDRDD背景RDD介绍Operation介绍RDD五大特性 在开始学习Spark工作原理之前, 先来介绍一下Spark中两个最为重要的概念-- 弹性分布式数据集(Resilient Distributed Datasets, RDD) 和算子(Oper... 阅读全文

摘要： WorldCount案例案例说明计算分析MapReduce的Java实现SparkCore的Scala实现案例说明 大数据分析处理万变不离其宗, 核心思想就是一个WorldCount–单词统计. 单词统计, 顾名思义就是将一个文件中出现的所有单词读一遍, ... 阅读全文

摘要： Spark概述Spark 简介Spark 历史Spark 技术栈Spark相较于Hadoop的优点Spark 简介 Spark官网为: http://spark.apache.org/, Spark也是用于海量数据处理的计算框架. 官方对Spark的定义是... 阅读全文

摘要： ScalaScala字符串Scala 集合1. 数组2. list3. set4. Map4.1 创建map集合4.2 map遍历4.3 Map合并4.4 Map其他常见方法5. 元组trait特性模式匹配match-case样例类case classes并... 阅读全文

摘要： ScalaScala介绍Scala安装1. windows下安装, 环境配置2. Scala-IDEA3. IntelliJ IDEA中安装Scala插件4. IntelliJ IDEA-2017.3版本中创建Scala项目Scala基础1. 数据类型2. ... 阅读全文