03 2022 档案
摘要：ssh登陆说明 Linux 一般作为服务器使用，而服务器一般放在机房，你不可能在机房操作你的 Linux 服务器。 这时我们就需要远程登录到Linux服务器来管理维护系统。 此时一般通过 ssh 服务实现的远程登录功能，默认 ssh 服务端口号为 22。 ssh免密登陆原理 先来看下ssh免密登陆的
阅读全文
摘要：yarn 任务调度器组成 ResourceManager（RM）： 整个集群资源（内存、cpu等）的调度者 1、接收客户端的请求（该请求是运行程序的请求） 2、启动和监控MRAppMaster 3、资源调度，调度整个计算程序的资源，决定任务在哪个节点执行 NodeManager（NM）： 负责提供真
阅读全文
摘要：粒度锁 MyISAM 和 MEMORY 存储引擎采用的是表级锁（table-level locking） BDB 存储引擎采用的是页面锁（page-level locking），但也支持表级锁 InnoDB 存储引擎既支持行级锁（row-level locking），也支持表级锁，但默认情况下是采用
阅读全文
摘要：事务 在MySQL的众多存储引擎中，只有InnoDB支持事务，所有这里说的事务隔离级别指的是InnoDB下的事务隔离级别。 读未提交 一个事务可以读取到另一个事务未提交的修改。这会带来脏读、幻读、不可重复读问题。（基本没用） 读已提交 一个事务只能读取另一个事务已经提交的修改。其避免了脏读，但仍然存
阅读全文
摘要：hadoop介绍 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hado
阅读全文
摘要：大数据概念 大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和 处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化 能力的海量、高增长率和多样化的信息资产。 大数据作用 大数据主要解决，海量数据的采集、存储和分析计算问题。 数据单位 按顺序给出数
阅读全文
摘要：何为内存泄漏 内存泄漏（Memory Leak）是指程序中已动态分配的堆内存由于某种原因程序未释放或无法释放，造成系统内存的浪费，导致程序运行速度减慢甚至系统崩溃等严重后果。 以java的角度来分析，就是JVM创建的对象永远都无法访问到，但是GC又不能回收对象所占用的内存。少量的内存泄漏并不会出现什
阅读全文
摘要：ALC讲述比较详细 https://zhuanlan.zhihu.com/p/360158311
阅读全文
摘要：hdfs概念 HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写，为分布式计算存储提供了底层支持。HDFS的设计思想：构建一个非常庞大的分布式文件系统。在集群中节点失效是正常的，节点的数量在Hadoop中不是固定的.单一的文件命名空间，保证数据
阅读全文
摘要：dubbo的容错机制 Failover Cluster(默认) 失败自动切换，当出现失败，重试其它服务器。通常用于读操作，但重试会带来更长延迟。 Failfast Cluster 快速失败，只发起一次调用，失败立即报错。通常用于非幂等性的写操作，比如新增记录。 Failsafe Cluster 失败
阅读全文
摘要：kafka优势 可扩展：Kafka集群可以透明的扩展，增加新的服务器进集群。 高性能：Kafka性能远超过传统的ActiveMQ、RabbitMQ等，Kafka支持Batch操作。 容错性：Kafka每个Partition数据会复制到几台服务器，当某个Broker失效时，Zookeeper将通知生产
阅读全文
摘要：消费模型 kafka模型使用了 发布/订阅、点对点模型。 消息发布 在producer端，通过分片策略，找到对应topic下面的Partition leader，把消息发送到当前Partition 消息订阅 新建一个消费组，消费组消费topic下的消息 点对点模式 一个消费组内只有一个消费者消费Pa
阅读全文
