随笔分类 - 大数据
//20200115 build
摘要：RPC源码实现&解析 写在前面：最近复习的时候，RPC协议不咋清楚，就去学习了下，看了博客还是不太懂，就跟着这一篇手动实现了下，在此记录下过程 实现过程 原理讲解： RPC的全称是Remote Producedure Call-->远程过程调用，通俗的来讲就是客户端调用服务端的方法，并获取返回的结果
阅读全文
摘要：Redis哨兵模式故障自动转换机制小记 写在前面：今天和同事讨论的过程中发现这方面的知识有些疑惑，就去查阅了下资料，在这里记录下 首先，Redis分为哨兵模式、单机模式、集群模式，其中哨兵模式是一个主节点多个从节点，主节点负责写，从节点负责读，然后哨兵组有多个（也可以为一个，但是为了高可用，一般都是
阅读全文
摘要：redis集群新增结点slot迁移原理 写在前面：最近在复习redis知识点，遇到一个问题很疑惑，就是集群新增结点时，是将slot重新分配，然后移动？这样集群节点之间不就需要互相传送数据吗，但是又明确知道是所有节点向新节点传送数据，原有结点之间并无数据传输，所以就在网上搜索，但是没看到相关的解释，最
阅读全文
摘要：更改mysql binlog监控数据库到质变maxwell报“Could not find first log file name in binary log index file ” reference 在运行过maxwell监控其他表之后更改mysql my.cnf中关于监控表的配置之后，需要重
阅读全文
摘要：写在前面：//20220526 尝试搭建rmi远程访问，记录出现的错误 java_RMI 全称：Remote Method Invocation RMI是一种分布式对象应用，使用它可以使一个JVM中的对象，调用另一个JVM中的对象方法并获取调用结果（这里的另一个JVM可以在同一台计算机也可以是远程计
阅读全文
摘要：携程面试 一面（20220513）： 自我介绍 项目介绍 项目遇到的困难 yarn机制 三个主要的组件： ResourceManager:整个系统只有一个，用于负责资源的调度 包含两个主要组件： 定时调用器（Scheduler）：给任务分配资源 应用管理器（ApplicationManager）：监
阅读全文
摘要：MapReduce论文 介绍 实时系统致力于分割输入数据，在大量的机器上调度执行程序，处理机器故障以及管理机器间通信——方便没有任何高并发、分布式系统开发经验的程序员能够利用大型分布式系统的资源 用重新执行作为容错的主要机制（re-execution） 实施 实施环境 他们的环境中（论问提及） 机器
阅读全文
摘要：解决“HA机制hadoop集群中job提交之后提示Faling the application，但是不抱任何错，程序甚至没有执行，但是在log中有报错org.apache.hadoop.mapreduce.v2.app.client.MRClientService: Webapps failed t
阅读全文
摘要：kafka3.0版本之后，可以不依赖zookeeper集群工作 方法：启动kraft模式 链接：转载博客 另，新版本客户端代码使用如下样例，不再使用ProducerConfig和KeyedMessage，且使用KafkaProducer作为Producer的实现类 import org.apache
阅读全文
摘要：kafka 3.1.0版本创建topic命令报错 //20220316 写在前面：今天学习kafka的时候，使用kafka-topics.sh命令创建topic时，报错了，遂在网上寻找解决方案，在此记录一下 出现问题： 使用kafka-topics.sh命令创建topic时，报出如下错误 出现问题原
阅读全文
摘要：Storm提交topology小记 //20220314 写在前面：今天学习storm的时候，把写完的storm代码打包成jar上传到storm集群中运行，出现了一系列问题，在此记录一下 出现的问题： 报 Detected both log4j-over-slf4j.jar AND bound sl
阅读全文
摘要：storm ui启动时报错：地址已使用 //20220303 写在前面：今天搭建storm时候，启动storm ui时候报了个错，说地址已使用，遂在此记录下解决方法 参考博客链接 storm ui报错 问题产生原因：8080端口被占用（虽然我netstat ntlp命令并为找到占用8080的程序）
阅读全文
摘要：junit Maven依赖添加进pom文件之后还是无法加载@Test //20220302 写在前面：今天写HBase客户端的时候，在新系统上创建的相关Maven项目，然后导入junit包，导入之后发现还是无法使用@Test测试模块，遂在此记录下解决方法 引入junit Maven依赖代码： <!-
阅读全文
摘要：idea Maven项目添加依赖 //20220302 写在前面：创建idea Maven项目总是忘记如何添加依赖，直接从Maven仓库copy依赖到pom文件不行，遂在此记录 如何添加依赖 依赖需要写入的文件：pom.xml Maven仓库网站copy出来的依赖是这样子的 <!-- https:/
阅读全文
摘要：HBase 外部访问网页端口 //20220301 写在前面：记录HBase初始端口变化 问题：看视屏教程，HBase 0.X.X外部访问网页端口为60010，尝试之后发现访问不上 解决：jps查看进程，记下HMaster PID，如图 使用netstat -ntlp查看端口占用，找到对应PID，发
阅读全文
摘要：写在前面 //20220122 本文用于记录如标题报错的解决办法 错误产生原因： 是否开放mysql端口 没有则开放（3306），最好关闭防火墙 是否允许root用户（或者指定用户）在任意ip远程访问 没有则将user表中root对应的host改为‘%’————代表该用户可以从任意ip访问 设置完之
阅读全文
摘要：//20220110 本篇用于记录hadoop2.3.9解压之后无法启动 & 启动之后无法建表的问题 问题描述 问题1 在官网下载hive之后，拷贝到本地，解压，进入bin目录用hive启动，此时报出如下错误 出现原因：hadoop和hive 对应的guava文件版本不一致，hadoop guava
阅读全文
摘要：大数据学习笔记（持续更新） 写在前面：本博客是用于记录以及总结大数据学习过程中的笔记，会持续更新 20211206更新 HDFS的实现思想： hdfs是通过分布式集群（一个文件会被分成许多块，每一块可能不在同一个主机上）来存储文件，为客户端提供了一个便捷的访问方式（客户端不需要知道文件散落在哪里，只
阅读全文
摘要：如题 访问50070是访问不到的，改设置也访问不到 是因为默认端口改成了9870 （有一些老的教学视频里用的是50070，但是什么都配置好了就是访问不到，遂查看端口监听情况==>netstat -tlnup，发现没有50070，遂一个个尝试允许所有ip访问且后面程序为java的端口，发现9870可用
阅读全文
摘要：//20210326 写在前面：今天学习hadoop“使用java调用api操作hadoop集群”阶段，在linux上运行代码很顺畅，maven和jar包一加，就运行成功了，但是迁移到windows上面就一堆问题（因为生产环境服务器肯定没有可视化界面，都是要本地jar包上传的），经过查阅资料，多次尝
阅读全文
