摘要: 基本介绍: 起源: 将函数式编程语言的特点融合到Java中,由此发明了Scala。更简洁、更灵活。 语言特点: Scala是一门以 JVM 为运行环境并将面向对象和函数式编程的最佳特性结合在一起的静态类型编程语言。Scala源代码会被编译成Java字节码,然后运行于JVM之上,并可以调用现有的Jav 阅读全文
posted @ 2022-01-25 13:46 心平万物顺 阅读(188) 评论(0) 推荐(0) 编辑
摘要: 基本介绍: 概述: 直接使用MapReduce处理大数据,将面临以下问题: - MapReduce 开发难度大,学习成本高(wordCount => Hello World)- Hdfs文件没有字段名、没有数据类型,不方便进行数据的有效管理- 使用MapReduce框架开发,项目周期长,成本高Hiv 阅读全文
posted @ 2022-01-25 12:56 心平万物顺 阅读(242) 评论(0) 推荐(0) 编辑
摘要: 基本介绍: 概念: 一个快速开源的OLAP数据库管理系统,它是面向列的,允许使用SQL查询实时生成分析报告。 背景知识: 历史olap: 定时(通常是T+1 或者 T+H)将 HBase 数据写成静态的文件(如:Parquet)导入到 OLAP 引擎(如:HDFS,比较常见的是Impala操作Hiv 阅读全文
posted @ 2022-01-25 12:45 心平万物顺 阅读(1802) 评论(0) 推荐(0) 编辑