落樰兂痕

2021年9月7日

摘要： HDFS删除节点9.1 删除节点遵循原则①无数据删除；②查看状态（Normal（正常状态）、Decommissioned in Program（数据正在迁移）、Decommissioned（数据迁移完成））9.2 导入数据（可省略）[root@nn01 ~]# /usr/local/hadoop/b 阅读全文

posted @ 2021-09-07 16:48 落樰兂痕阅读(491) 评论(0) 推荐(0) 编辑

八、Hadoop节点管理（增加节点与修复节点）

摘要： 8.1 增加节点8.1.1 启动一个新的系统，禁用selinux、禁用firewalld，命名[root@node4 ~]# echo node4 >/etc/hostname [root@node4 ~]# getenforce Disabled[root@node4 ~]# systemctl 阅读全文

posted @ 2021-09-07 16:08 落樰兂痕阅读(169) 评论(0) 推荐(0) 编辑

2021年9月2日

七、HDFS基本使用

摘要： 7.1 HDFS 基本命令– ./bin/hadoop fs –ls /– 对应shell 命令ls /在集群里查看根下面的文件与目录[root@nn01 hadoop]# ./bin/hadoop fs -ls /Found 1 itemsdrwxr-xr-x - root supergroup 阅读全文

posted @ 2021-09-02 10:40 落樰兂痕阅读(87) 评论(0) 推荐(0) 编辑

2021年9月1日

六、mapred配置与yarn配置

摘要： 6.1 Hadoop三大核心组件–分布式文件系统–HDFS 已经部署完毕–分布式计算框架–mapreduce–集群资源管理–yarn 系统规划主机角色软件 192.168.0.10 master NameNodeSecondaryNameNodeResourceManager HDFSYARN 阅读全文

posted @ 2021-09-01 17:50 落樰兂痕阅读(136) 评论(0) 推荐(0) 编辑

2021年8月26日

五、Hadoop伪分布式

摘要： 5.1 伪分布式介绍–伪分布式的安装和完全分布式类似，但区别是所有角色安装在一台机器上，使用本地磁盘，一般生产环境都会使用完全分布式，伪分布式一般用来学习和测试方面的功能–伪分布式的配置和完全分布式配置类似的词5.2 配置文件格式–Hadoop-env.shJAVA_HOMEHADOOP_CONF_ 阅读全文

posted @ 2021-08-26 16:44 落樰兂痕阅读(304) 评论(0) 推荐(0) 编辑

四、单机模式的测试与数据分析

摘要：数据分析。1，数据存放目录（3个txt文件）[root@node1 ~]# cd /usr/local/hadoop/[root@node1 hadoop]# mkdir oo[root@node1 hadoop]# cp LICENSE.txt NOTICE.txt README.txt ./oo 阅读全文

posted @ 2021-08-26 15:39 落樰兂痕阅读(54) 评论(0) 推荐(0) 编辑

2021年8月23日

三、Hadoop单机模式安装配置

摘要： 3.1 •Hadoop的部署模式有三种–单机–伪分布式–完全分布式3.2 Hadoop单机模式安装配置•Hadoop的单机模式安装非常简单–1、获取软件http://hadoop.apache.org–2、安装配置java 环境，安装jps工具安装Openjdk和openjdk-devel–3、设置阅读全文

posted @ 2021-08-23 16:43 落樰兂痕阅读(272) 评论(0) 推荐(0) 编辑

二、大数据与Hadoop

摘要： •Hadoop是什么–Hadoop是一种分析和处理海量数据的软件平台–Hadoop是一款开源软件，使用JAVA 开发–Hadoop可以提供一个分布式基础架构•Hadoop特点–高可靠性、高扩展性、高效性、高容错性、低成本Hadoop起源•2003 年开始google陆续发表了几篇论文：–GFS，Ma 阅读全文

posted @ 2021-08-23 15:06 落樰兂痕阅读(76) 评论(0) 推荐(0) 编辑

一、什么是大数据

摘要： 1.1 大数据是做什么的•大数据–随着计算机技术的发展，互联网的普及，信息的积累已经到了一个非常庞大的地步，信息的增长也在不断的加快，随着互联网、物联网建设的加快，信息更是爆炸是增长，收集、检索、统计这些信息越发困难，必须使用新的技术来解决这些问题•大数据的定义–大数据由巨型数据集组成，这些数据集大阅读全文

posted @ 2021-08-23 14:45 落樰兂痕阅读(923) 评论(0) 推荐(0) 编辑

十五、filebeat安装与配置

摘要： •filebeat安装与配置–使用rpm 安装filebeat rpm -ivhfilebeat-1.2.3-x86_64.rpm–修改配置文件/etc/filebeat/filebeat.yml–设置开机运行[root@logstash] systemctlenable filebeat–开启服务阅读全文

posted @ 2021-08-23 10:05 落樰兂痕阅读(436) 评论(0) 推荐(0) 编辑

公告