摘要: 1.scala环境搭建 网址:https://www.scala-lang.org/ 安装步骤 Scala需要使用JVM来运行字节码文件,所以需要确保安装了jdk1.8 下载对应的scala安装文件scala-2.12.15.msi 解压安装包到C:\Program Files (x86) 配置sc 阅读全文
posted @ 2022-02-19 22:25 学后端的菜妹 阅读(271) 评论(0) 推荐(0)
摘要: 是什么 是Hadoop中的分布式计算框架 优点: 易于编程: MR将所有的计算抽象为Map(映射) 与Reduce(聚合) 两个阶段 只需要继承并实现Mapper和Reducer类,就可以完成高性能的分布式程序 扩展性 与HDFS类似,HDFS是通过将多台机器的存储能力整合到集群中,提供更大的存储能 阅读全文
posted @ 2022-02-19 21:39 学后端的菜妹 阅读(85) 评论(0) 推荐(0)
摘要: 服务:启动后监听某个端口,等待客户端连接,并处理客户端请求。客户端断开连接后,服务程序依然运行。 工具:需要使用工具的功能时,启动程序。使用完毕后,工具程序可以直接关闭。 框架:一个半成品软件,需要开发人员根据业务逻辑填写核心代码,组成完成的程序,提供工具或者服务的功能。 是什么 在数据处理场景中, 阅读全文
posted @ 2022-02-19 21:11 学后端的菜妹 阅读(228) 评论(0) 推荐(0)
摘要: HDFS优点: 1.高容错性 1.1数据自动保存多个副本。它通过增加副本的形式,提高容错性。 1.2某一个副本丢失以后,它可以自动恢复。 2.适合海量数据处理 2.1数据规模:能够处理数据规模达到 GB、TB、甚至PB级别的数据。 2.2文件规模:能够处理百万规模以上的文件数量,数量相当之大。 3. 阅读全文
posted @ 2022-02-19 20:35 学后端的菜妹 阅读(286) 评论(0) 推荐(0)
摘要: Hadoop: 下载网址:https://archive.apache.org/dist/hadoop/common 什么是hadoop:用于数据存储和数据分析计算的分布式系统基础架构 创始人:Doug Cutting 组成 Hadoop HDFS:一个高可靠、高吞吐量的分布式系统文件 Hadoop 阅读全文
posted @ 2022-02-19 20:19 学后端的菜妹 阅读(118) 评论(0) 推荐(0)
摘要: 简介 Linux是一种自由和开放源码的操作系统 Linux出现于1991年,是由芬兰赫尔辛基大学学生Linus Torvalds(莱纳斯·托瓦尔兹)和后来加入的众多爱好者共同开发完成 Linux的特点 多用户 多任务 丰富的网络功能 可靠的系统安全 良好的可移植性 具有标准兼容性 良好的用户界面 出 阅读全文
posted @ 2022-02-19 20:04 学后端的菜妹 阅读(149) 评论(0) 推荐(0)
摘要: 入 希腊字母表中排序第十一位的字母,英语名称为Lambda 避免内部类定义过多 其实质属于函数式编程概念 1 (params) -> expression [表达式] 2 (params) -> statement [语句] 3 (params) -> {statement } 4 123 5 ne 阅读全文
posted @ 2022-02-12 23:02 学后端的菜妹 阅读(35) 评论(0) 推荐(0)
摘要: Java中的异常体系 java中的所有异常都来自顶级父类Throwable Throwable下有两个子类Exception和Error Error是程序无法处理的错误,一旦出现这个错误,则程序将被迫停止运行 Exception不会导致程序停止,又分为两个部分RunTimeException运行时异 阅读全文
posted @ 2022-02-12 22:39 学后端的菜妹 阅读(24) 评论(0) 推荐(0)
摘要: 1.面向过程 & 面向对象 面向过程思想:步骤清晰简单、第一步做什么、第二步做什么 面向过程适合处理一些较为简单的问题 面向对象思想 物以类聚,分类的思维模式,思考问题首先会解决问题需要哪些分类,然后对这些分类进行单独思考。最后,才对某个分类下的细节进行面向过程的思索。 什么是面向对象? 面向对象编 阅读全文
posted @ 2022-02-12 22:31 学后端的菜妹 阅读(34) 评论(0) 推荐(0)
摘要: 1.官网下载mysql 2.将mysql安装包解压至D盘新建mysql文件夹 3.在mysql安装文件夹中添加my.ini文件并添加以下内容 1 [client] 2 # 设置mysql客户端默认字符集 3 default-character-set=utf8 4 5 [mysqld] 6 # 设置 阅读全文
posted @ 2022-02-12 22:07 学后端的菜妹 阅读(103) 评论(0) 推荐(0)