摘要:
1.scala环境搭建 网址:https://www.scala-lang.org/ 安装步骤 Scala需要使用JVM来运行字节码文件,所以需要确保安装了jdk1.8 下载对应的scala安装文件scala-2.12.15.msi 解压安装包到C:\Program Files (x86) 配置sc 阅读全文
posted @ 2022-02-19 22:25
学后端的菜妹
阅读(271)
评论(0)
推荐(0)
摘要:
是什么 是Hadoop中的分布式计算框架 优点: 易于编程: MR将所有的计算抽象为Map(映射) 与Reduce(聚合) 两个阶段 只需要继承并实现Mapper和Reducer类,就可以完成高性能的分布式程序 扩展性 与HDFS类似,HDFS是通过将多台机器的存储能力整合到集群中,提供更大的存储能 阅读全文
posted @ 2022-02-19 21:39
学后端的菜妹
阅读(85)
评论(0)
推荐(0)
摘要:
服务:启动后监听某个端口,等待客户端连接,并处理客户端请求。客户端断开连接后,服务程序依然运行。 工具:需要使用工具的功能时,启动程序。使用完毕后,工具程序可以直接关闭。 框架:一个半成品软件,需要开发人员根据业务逻辑填写核心代码,组成完成的程序,提供工具或者服务的功能。 是什么 在数据处理场景中, 阅读全文
posted @ 2022-02-19 21:11
学后端的菜妹
阅读(228)
评论(0)
推荐(0)
摘要:
HDFS优点: 1.高容错性 1.1数据自动保存多个副本。它通过增加副本的形式,提高容错性。 1.2某一个副本丢失以后,它可以自动恢复。 2.适合海量数据处理 2.1数据规模:能够处理数据规模达到 GB、TB、甚至PB级别的数据。 2.2文件规模:能够处理百万规模以上的文件数量,数量相当之大。 3. 阅读全文
posted @ 2022-02-19 20:35
学后端的菜妹
阅读(286)
评论(0)
推荐(0)
摘要:
Hadoop: 下载网址:https://archive.apache.org/dist/hadoop/common 什么是hadoop:用于数据存储和数据分析计算的分布式系统基础架构 创始人:Doug Cutting 组成 Hadoop HDFS:一个高可靠、高吞吐量的分布式系统文件 Hadoop 阅读全文
posted @ 2022-02-19 20:19
学后端的菜妹
阅读(118)
评论(0)
推荐(0)
摘要:
简介 Linux是一种自由和开放源码的操作系统 Linux出现于1991年,是由芬兰赫尔辛基大学学生Linus Torvalds(莱纳斯·托瓦尔兹)和后来加入的众多爱好者共同开发完成 Linux的特点 多用户 多任务 丰富的网络功能 可靠的系统安全 良好的可移植性 具有标准兼容性 良好的用户界面 出 阅读全文
posted @ 2022-02-19 20:04
学后端的菜妹
阅读(149)
评论(0)
推荐(0)