醉生梦死_0423 - 博客园

2021年12月

摘要：大数据学习笔记（持续更新）写在前面：本博客是用于记录以及总结大数据学习过程中的笔记，会持续更新 20211206更新 HDFS的实现思想： hdfs是通过分布式集群（一个文件会被分成许多块，每一块可能不在同一个主机上）来存储文件，为客户端提供了一个便捷的访问方式（客户端不需要知道文件散落在哪里，只阅读全文

posted @ 2021-12-06 11:36 醉生梦死_0423 阅读(197) 评论(0) 推荐(0) 编辑

Hadoop3.0.0以上版本访问WebUI默认端口从50070改为9870

摘要：如题访问50070是访问不到的，改设置也访问不到是因为默认端口改成了9870 （有一些老的教学视频里用的是50070，但是什么都配置好了就是访问不到，遂查看端口监听情况==>netstat -tlnup，发现没有50070，遂一个个尝试允许所有ip访问且后面程序为java的端口，发现9870可用阅读全文

posted @ 2021-12-01 15:09 醉生梦死_0423 阅读(766) 评论(0) 推荐(1) 编辑

2021年5月

leetcode动态规划题组笔记以及总结（持续更新）

摘要： date：20210520 No：1025 title：除数博弈 description: 爱丽丝和鲍勃一起玩游戏，他们轮流行动。爱丽丝先手开局。最初，黑板上有一个数字 N 。在每个玩家的回合，玩家需要执行以下操作：选出任一 x，满足 0 < x < N 且 N % x == 0 。用 N - 阅读全文

posted @ 2021-05-20 12:30 醉生梦死_0423 阅读(111) 评论(0) 推荐(1) 编辑

leetcode 65题——有效数字_自动机解_java实现

摘要： leetcode 65题——有效数字_自动机解_java实现 //20210508 写在前面：今天刷leetcode刷到的题目，一开始用暴力写逻辑，漏洞百出，遂放弃，去看题解，发现使用自动机做（编译原理知识），实现之后觉得挺有意思（确实也是我不会的东西），所以在这里记录一下自动机逻辑：将系统中可阅读全文

posted @ 2021-05-08 22:42 醉生梦死_0423 阅读(88) 评论(0) 推荐(0) 编辑

2021年3月

windows端hadoop项目编写java程序操纵远程hadoop集群报错（集合，分几个阶段才解决的）

摘要： //20210326 写在前面：今天学习hadoop“使用java调用api操作hadoop集群”阶段，在linux上运行代码很顺畅，maven和jar包一加，就运行成功了，但是迁移到windows上面就一堆问题（因为生产环境服务器肯定没有可视化界面，都是要本地jar包上传的），经过查阅资料，多次尝阅读全文

posted @ 2021-03-26 22:12 醉生梦死_0423 阅读(166) 评论(0) 推荐(0) 编辑

Hadoop安装好之后使用jar运行mapreduce内置程序的时候报错

摘要： //20210309 写在前面：安装好hadoop之后，试着运行mapreduce内置的pi程序，发现报错，在此记录一下排除并修复bug的过程正文问题起因：mapreduce运行内置pi程序的时候报出如下错误：一开始我以为是需要科xue上网，科xue上网之后问题并没有解决，然后我意识到一个问题阅读全文

posted @ 2021-03-09 23:08 醉生梦死_0423 阅读(260) 评论(0) 推荐(0) 编辑

Hadoop安装配置好之后启动无效

摘要： //20210305 写在前面：今天配置好了伪分布式hadoop，启动之后发现jps无相关进程，遂在网上查找资料，无果，后来查看logs日志文件，发现报错，再次查找资料，发现是主机名问题，更改再次启动，成功！在此记录一下问题描述 Hadoop安装配置好之后启动start-dfs.sh打印出启动信息阅读全文

posted @ 2021-03-05 22:07 醉生梦死_0423 阅读(481) 评论(0) 推荐(0) 编辑

Hadoop启动start-dfs.sh报出Permission denied错误

摘要： //20210304 写在前面：今天学Hadoop安装配置（伪分布式），改完配置文件启动start-def.sh的时候，报了Permission denied（publickey,gssapi-keyex,gssapi-with-mic,password）错误，在网上查找资料，确定问题出在公钥上，遂阅读全文

posted @ 2021-03-04 22:42 醉生梦死_0423 阅读(7008) 评论(1) 推荐(1) 编辑

Centos 7更改主机名

摘要： //20210303 写在前面：学大数据的时候需要更改主机名字，按照教程上面吧etc/sysconfig下的network中的HOSTNAME更改之后重启系统（或者注销重新登录）之后并无变动，遂百度，最后得知Centos 7比以往的系统变动较大，更改对应文件之后，成功变动主机名，在此记录一下正文阅读全文

posted @ 2021-03-03 20:25 醉生梦死_0423 阅读(141) 评论(0) 推荐(0) 编辑

2021年2月

通过Java反射机制调用方法

摘要： //20210204 写在前面：最近再把Java反射和注释知识点过一遍，在这里记一下重要的点，本文讲述反射机制创建对象并调用方法主要任务：使用类反射机制实现对象创建以及方法调用与普通方式实现对象创建以及方法调用，并对比二者区别程序源代码： //此处实现String的反射调用，测试方法为equ 阅读全文

posted @ 2021-02-04 17:33 醉生梦死_0423 阅读(688) 评论(0) 推荐(0) 编辑

公告