随笔分类 -  hadoop

摘要:场景:Linux 上传文件到 HDFS 这是正常的,没问题。 了解更多 》》》(17条消息) HDFS的SHELL客户端高级操作_思诺的小世界的博客-CSDN博客 阅读全文
posted @ 2022-06-17 22:34 御本美琴初号机 阅读(2475) 评论(1) 推荐(1) 编辑
摘要:Exception in thread "main" org.apache.flink.util.FlinkException: Failed to execute job 'Flink Streaming Job'. at org.apache.flink.streaming.api.enviro 阅读全文
posted @ 2022-06-01 20:42 御本美琴初号机 阅读(1532) 评论(0) 推荐(0) 编辑
摘要:查看hadoop的日志发现,问题出在配置文件上,下面是报错信息 hdp1 hdp2 在配置文件中添加以上配置,解决问题 hdp1为我的主机名称 贴上相关问题:https://qna.habr.com/q/57046#answer_208326 阅读全文
posted @ 2022-05-31 11:15 御本美琴初号机 阅读(70) 评论(0) 推荐(0) 编辑
摘要:启动HDFS,start-all.sh 启动Zookeeper,myzk.sh start /opt/zookeeper-3.4.10/bin/zkServer.sh $1 启动Kafka,mykafka.sh start /opt/kafka_2.11-2.4.1/bin/kafka-server 阅读全文
posted @ 2022-05-26 15:22 御本美琴初号机 阅读(83) 评论(0) 推荐(0) 编辑
摘要:kafka >kafka spark >{ Master 主节点 Woker 副节点 } zookeeper >{ QuorumPeerMain } hadoop >{ NodeManager SecondaryNameNode NameNode //管理 DateNode //存储数据 } 阅读全文
posted @ 2022-04-24 21:12 御本美琴初号机 阅读(19) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示