随笔分类 -  大数据

spark简介
摘要：一、Spark简介 Spark 是一种由 Scala 语言开发的快速、通用、可扩展的大数据分析引擎。 Spark主要由五部分组成： Spark Core Spark Core 中提供了 Spark 最基础与最核心的功能，Spark 其他的功能如：Spark SQL，Spark Streaming，G 阅读全文
posted @ 2024-05-09 15:55 在睡觉24 阅读(19) 评论(0) 推荐(0) 编辑
spark和scala的搭建
摘要：Scala--部署安装步骤 (1)上传并解压安装scala安装包 例：tar -zxvf scala--** -C 指定位置 （2）设置环境变量 vim /etc/profile export SCALA_HOME=spark软件包位置 export PATH=$PATH:${SCALA_HOME} 阅读全文
posted @ 2024-04-25 15:13 在睡觉24 阅读(17) 评论(0) 推荐(0) 编辑
Hadoop组件
摘要：Hadoop组件相关知识和功能应用 阅读全文
posted @ 2024-04-18 14:29 在睡觉24 阅读(33) 评论(0) 推荐(0) 编辑