01 2023 档案

04HDFS简介
摘要：HDFS简介 一、什么是HDFS HDFS全称是Hadoop Distributed File System，简称HDFS。这是一个分布式文件系统，当数据规模大小超过一台物理计算机的存储能力时，就有必要进行分区并存储到若干台物理计算机上。管理网络中跨多台计算机的文件系统称为分布式文件系统。 Hado 阅读全文
posted @ 2023-01-28 10:58 touch-fish 阅读(163) 评论(0) 推荐(0) 编辑
03初识MapReduce
摘要：初识MapReduce 一、什么是MapReduce MapReduce是一种编程范式，它借助Map将一个大任务分解成多个小任务，再借助Reduce归并Map的结果。MapReduce虽然原理很简单，但是使用MapReduce设计出一个解决问题的应用却不是一件简单的事情。下面通过一个简单的小例子来介 阅读全文
posted @ 2023-01-25 20:28 touch-fish 阅读(124) 评论(0) 推荐(0) 编辑
02安装一个最小化的Hadoop
摘要：安装一个最小化的Hadoop 为了学习HDFS和之后的MapReduce，我们需要安装一个Hadoop。 Hadoop一共有3种运行模式 独立模式：不启动守护进程，所有程序运行在一个JVM进程中。独立模式运行Hadoop很方便，适合学习和开发阶段 伪分布式：Hadoop运行在本机上，模拟一个小规模集 阅读全文
posted @ 2023-01-21 21:43 touch-fish 阅读(160) 评论(9) 推荐(1) 编辑
01前言
摘要：前言 一、为什么要写这个 今年是我做工程师的第6个年头，回顾这6年虽然接触了不少东西，也学到了不少知识。但是实际上沉淀下来的东西很少。有时候回想起来，要说什么东西不会嘛，会的东西其实也不少（起码CURD灰常熟练）。但是要说什么都会，但是也没有系统的总结过。 最近闲来无事，在翻看《Hadoop 权威指 阅读全文
posted @ 2023-01-21 21:40 touch-fish 阅读(24) 评论(0) 推荐(0) 编辑
linux挂载新硬盘
摘要：linux挂载新硬盘 前言 最近一些功能需要一些虚拟机，考虑到创建虚拟机和配置一些常用软件比较麻烦，故打算先创建一个资源最小化的虚拟机，然后配置一些常用软件，以后需要可以直接复制后就能使用。 虽然虚拟机大部分资源都可以动态修改，但是硬盘空间并不是那么容易改。初始化硬盘设置过大了，不好回收，设置小了又 阅读全文
posted @ 2023-01-21 12:22 touch-fish 阅读(2505) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示