NWNU-Sun | 技术沉思录

代码是诗，bug是谜
   ::  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理
  77 随笔 :: 49 文章 :: 6 评论 :: 40763 阅读

文章分类 -  大数据 / hadoop

hadoop之上传文件报错
摘要：问题 ​ 采用CDH搭建的hadoop集群环境，命令行上传文件正常，Java代码上传报如下错误 could only be replicated to 0 nodes instead of minReplication (=1). There are 3 datanode(s) running 翻译 阅读全文
posted @ 2022-11-04 15:50 匿名者nwnu 阅读(903) 评论(0) 推荐(0) 编辑

Yarn原理解析
摘要：Yarn介绍 一，介绍 yarn是一种通用的资源管理系统和调度平台。 资源管理系统 ：管理集群内的硬件资源，和程序运行相关，比如内存，CPU等。 调度平台：多个程序同时申请计算资源时提供分配，调度的规则（算法）。 通用：不仅仅支持MapReduce程序，理论上支持各种计算程序如spark，flink 阅读全文
posted @ 2022-10-17 15:24 匿名者nwnu 阅读(404) 评论(0) 推荐(0) 编辑

Hadoop集群的webUI监控界面设置Simple安全机制
摘要：问题： ​ hive集群配置完成，web监控界面的8808和8042和10002端口不需用户验证即可访问，对生产环境是不容许的，需要加上安全机制。 方案： 1. 修改hadop配置 1.修改core-site.xml，增加如下内容，配置完成后拷贝到其他节点上。 <property> <name>ha 阅读全文
posted @ 2022-09-26 14:36 匿名者nwnu 阅读(927) 评论(0) 推荐(0) 编辑

Hadoop集群安装
摘要：Hadoop原生分布式搭建 1. 基本环境 JDK版本：JDK8 版本 集群：使用 vmware 虚拟机虚拟三台 linux节点，linux操作系统: Centos7 虚拟机环境准备三台虛拟机(静态iP、关闭防火墙、修改主机名、配置兔密登录、集群时间同步) 首先创建一台虚拟机配置好 hadoop环境 阅读全文
posted @ 2022-07-08 11:39 匿名者nwnu 阅读(49) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示