摘要:
这一学期我打算精读的书籍是《软件需求》,根据这本书的结构来看,我对这一学期的阅读计划是这样安排的: 第一篇:在十月十五发表读后感 第二篇:在十月三十发表读后感 第三篇:在十一月十五发表读后感 第四篇:在十一月三十发表读后感 第五篇:在十二月十五发表读后感 第六篇:在十二月三十发表读后感 阅读全文
摘要:
一、Namenode1.作用 ①负责元数据的存储 ②负责接受和处理客户端的请求 ③负责接受DN上报的信息 ④和DN保持心跳,向DN下达命令 2.元数据包含两部分 ①文件的属性(保存在edits+fsimage) ②块的位置信息(由DN启动后自动上报,动态生成) 3.存储元数据的文件①edits文件: 阅读全文
摘要:
一、HDFS1. HDFS的本质是一个文件系统,特点是分布式,需要在多台机器启动多个NN,DN进程组成一个分布式系统 2. HDFS不支持对一个文件的并发写入,也不支持对文件的随机修改,不适合存储小文件(存储小文件时会降低NN的服务能力) 3. HDFS的块大小 块大小可以通过hdfs-site.x 阅读全文
摘要:
一、完全分布式集群的搭建1.进程规划 原则: ①核心进程尽量分散 ②同质进程尽量分散 2.集群间复制①scp scp -r 源文件的用户名@主机名:源文件路径 目标文件的用户名@主机名:目标文件路径 特点: 全量复制 ②rsync rsync -rvlt 源文件路径 目标文件的用户名@主机名:目标文 阅读全文
摘要:
一、大数据1.含义 大数据指在一定时间范围内使用常规的软件无法处理的数据集合! 2.特点 ①海量 ②高增长率 ③多样性 ④低价值密度 二、Hadoop1.含义 狭义: Hadoop只代表hadoop框架本身! 广义: hadoop代表整个hadoop体系,由hadoop框架和其他依赖于hadoop的 阅读全文
摘要:
一、说在前面 1、本周主要学习了伪分布式 二、HDFS 负责大数据的存储 核心进程: 必须进程: Namenode(1个): 负责文件,名称等元数据(属性信息)的存储! 文件名,大小,文件切分了多少块(block),创建和修改时间等! 职责: 接受客户端的请求! 接受DN的请求! 向DN分配任务! 阅读全文
摘要:
一、说在前面 1、本周主要学习了hadoop的安装和简单使用 2、下周主要学习伪分布式 二、Hadoop的安装 ①Hadoop运行的前提是本机已经安装了JDK,配置JAVA_HOME变量②在Hadoop中启动多种不同类型的进程 例如NN,DN,RM,NM,这些进程需要进行通信! 在通信时,常用主机名 阅读全文
摘要:
一、说在前面 1、本周主要学习了shell编程 2、下周主要学习hadoop的安装和简单使用 二、shell编程 1.shell是什么 Linux操作系统的核心是kernal(内核)! 当应用程序在执行时,需要调用计算机硬件的cpu,内存等资源! 程序将指令发送给内核执行! 为了防止程序发送一些恶意 阅读全文
摘要:
一、说在前面 1、本周主要复习了Linux基础知识, 2、下周学习shell编程 二、Linux基础知识总结 1、Linux关机重启命令 (1)sync (功能描述:将数据由内存同步到硬盘中) (2)halt (功能描述:关闭系统,等同于shutdown -h now 和 poweroff) (3) 阅读全文