随笔分类 - Hadoop框架
关于Hadoop框架的学习和应用
摘要:Hadoop - hdfs dfs常用命令的使用 用法 1,-mkdir 创建目录Usage:hdfs dfs -mkdir [-p] < paths>选项:-p很像Unix mkdir -p,沿路径创建父目录。 2,-ls 查看目录下内容,包括文件名,权限,所有者,大小和修改时间Usage:hdf
阅读全文
摘要:hdfs原理之四大机制 一、心跳机制 1、心跳报告概念 datanode会定时的向namenode发送心跳报告,目的是告诉namenode自己的存活状况以及可用空间。这个时间默认为3秒。 2、心跳报告具体作用 (1)向namenode汇报自己的存活状况以及可用空间 (2)向namenode发送块报告
阅读全文
摘要:Hadoop功能模块之hdfs 第一节:hdfs简介 用于海量数据存储的,就是一个文件系统,分布式文件系统。 hadoop distributed filesystem 第二节:设计思想 一、分而治之 将超级大的文件切分成每一个小文件(数据块)进行存储在不同的节点上。同时切分的数据块太大了,容易造成
阅读全文
摘要:Hadoop介绍 第一节:简介 hadoop基于普通廉价机的提供高可用、高扩展、高容错的分布式存储计算服务的。 hadoop设计的时候考虑到集群中任何一个节点任何时间都有可能出故障 hadoop已经帮你规避了。 第二节:hadoop产生背景 一、google 海量的网页数据如何存储的问题? 海量网页
阅读全文
摘要:大数据的介绍 第一节:数据 一、概念 数据就是数值,也就是我们通过观察、实验或计算得出的结果。数字、图片、 视频……. 二、分类 1、按照结构分 结构化数据:mysql表中的数据、excel 表、严格的二维表数据。每一行都有相同的列,每一行对应的列的类型一致的。 非结构化数据:没有任何结构的数据,视
阅读全文
摘要:Hadoop之shell命令 一、启动命令 启动hadoop:start-dfs.sh,start-yarn.sh 关闭hadoop:stop-dfs.sh,stop-yarn.sh 启动hdfs时可在任意节点,启动yarn得在相应yarn的主节点上执行 hadoop fs -命令(hadoop1.
阅读全文
摘要:SpringBoot启动-问题解决:Could not locate executable null\bin\winutils.exe in the Hadoop binaries Hadoop报错:Failed to locate the winutils binary in the hadoop
阅读全文
摘要:Hadoop:相关概念 一、Hadoop简介 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS. 1.特点 (1)HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上; (2)HDFS提供高吞吐量(high t
阅读全文