09 2023 档案

使用Python调用Hadoop Hdfs的API
摘要：一、Java调用hdfs的api import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.jun 阅读全文
posted @ 2023-09-13 09:02 社会主义接班人 阅读(626) 评论(0) 推荐(0) 编辑
Hadoop3.3.6 Shell命令操作
摘要：一、mkdir 创建文件夹通过命令hadoop fs -mkdir /cyw在hdfs中创建名为cyw的文件夹 二、moveFromLocal从本地剪切到hdfs中 这里将本地/home/input/movefromlocal文件剪切到hdfs的cyw文件夹下hadoop fs -moveFromL 阅读全文
posted @ 2023-09-11 13:30 社会主义接班人 阅读(32) 评论(0) 推荐(0) 编辑
解决ServerAgent-2.2.3闪退问题
摘要：一、问题描述 使用ServerAgent-2.2.3监控服务器时，每次Jmeter点击run时就会闪退，错误日志如下: # # A fatal error has been detected by the Java Runtime Environment: # # EXCEPTION_ACCESS_ 阅读全文
posted @ 2023-09-10 22:20 社会主义接班人 阅读(659) 评论(0) 推荐(0) 编辑
Hadoop3.3.6配置历史服务器和日志
摘要：一、配置历史服务器 1.增加配置属性 Hadoop部署模式主要有3种：本地、伪分布式、完全分布式。云服务器只有一台所以我使用的是伪分布式模式部署的。要配置历史服务器只需修改mapred-site.xml文件。在里面增加如下配置。 <!-- 历史服务器端地址 --> <property> <name> 阅读全文
posted @ 2023-09-10 14:34 社会主义接班人 阅读(255) 评论(0) 推荐(0) 编辑
Ubuntu22系统部署Hadoop3.3.6环境
摘要：看boss有招大数据的讲师，好奇看了下，现在大学都讲大数据了，现在是越来越普及。昨天弄了一个云服务器部署了下Hadoop，虽然也是参考网上教程部署，但过程中还是出了不少问题。想着把部署过程完整记录下，所以我就把部署好的实例释放了又实例化了一台新的云服务器重新部署了下，如果是在我本地安装报错了还得重新 阅读全文
posted @ 2023-09-09 16:33 社会主义接班人 阅读(1642) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示