redis缓存穿透、缓存击穿、缓存雪崩
摘要：介绍 请求处理流程 缓存穿透：key对应的数据在数据源并不存在，每次针对此key的请求从缓存获取不到，请求都会到数据源，从而可能压垮数据源。比如用一个不存在的用户id获取用户信息，不论缓存还是数据库都没有，若黑客利用此漏洞进行攻击可能压垮数据库。 缓存击穿：key对应的数据存在，但在redis中过期
阅读全文
posted @ 2020-03-12 13:34
03 2020 档案
redis常见问题总结——转载
摘要：为什么使用redis 性能 我们在碰到需要执行耗时特别久，且结果不频繁变动的SQL，就特别适合将运行结果放入缓存。这样，后面的请求就去缓存中读取，使得请求能够迅速响应。 并发 在大并发的情况下，所有的请求直接访问数据库，数据库会出现连接异常。这个时候，就需要使用redis做一个缓冲操作，让请求先访问
阅读全文
posted @ 2020-03-12 12:50
Kafka各个组件工作原理（读书笔记暂未完成）
摘要：一、producer producer 的首要功能就是向某个 topic 的某个分区发送一条消息，所以它首先需要借助分区器（partitioner）确认到底要向 topic 的哪个分区写入消息 。 如果消息指定了key，那么partitioner会根据key的哈希值选择目标分区；否则，会使用轮询的方
阅读全文
posted @ 2020-03-07 11:36
jvm的metaspace（元数据）解读
摘要：概述 metaspace，顾名思义，元数据空间，专门用来存元数据的，它是jdk8里特有的数据结构用来替代perm，这块空间很有自己的特点，前段时间公司这块的问题太多了，主要是因为升级了中间件所致，看到大家讨论来讨论去，看得出很多人对metaspace还是模棱两可，不是很了解它，因此我觉得有必要写篇文
阅读全文
posted @ 2020-03-07 11:35
Hadoop高可用集群
摘要：1、由于之前已经搭建好完全分布式集群，所以直接改配置文件（如果用的新机器，需要配置免密） # vim core-site.xml <configuration> <!-- 指定 HDFS 中 NameNode（master）节点 的地址 --> <property> <name>fs.default
阅读全文
posted @ 2020-03-07 11:11
Hadoop快照功能
摘要：新特性 Hadoop 2.x增加了快照功能的新特性。 snapshot原理 Hdfs的快照（snapshot）是在某一时间点对指定文件系统拷贝，快照采用只读模式，可以对重要数据进行恢复、防止用户错误性的操作。 快照分两种： （1）建立文件系统的索引，每次更新文件不会真正的改变文件，而是新开辟一个空间
阅读全文
posted @ 2020-03-06 14:50
HDFS编辑日志和镜像文件
摘要：HDFS非常重要的几个文件 namenode被格式化之后，将在hadoop.tmp.dir目录中产生如下文件： edits_0000000000000000001-0000000000000000001 fsimage_0000000000000000258 fsimage_000000000000
阅读全文
posted @ 2020-03-05 23:27
HDFS集群搭建及命令使用（Hadoop2.0）
摘要：HDFS介绍 HDFS（Hadoop Distributed File System）来源于2003Google 发表的论文——分布式文件系统GFS（Google File System），HDFS是GFS的开源实现，是一个块级别的分布式文件系统。 为了解决海量数据存储扩容问题，有两种方案：纵向扩展
阅读全文
posted @ 2020-03-05 14:33
