01 2022 档案
摘要：MurMurHash MurMurHash由Austin Appleby在2008年发明，与其它流行的哈希函数相比，对于规律性较强的key，MurMurHash的随机分布特征表现更良好，Redis，Memcached，Cassandra，HBase，Lucene中都使用到了这种hash算法。另外，G
阅读全文
摘要：哈希算法本质来说就是将一个元素映射成另一个元素，可以分为加密哈希函数 和 非加密哈希函数 加密哈希函数： 加密哈希函数旨在保证一系列的安全属性。它们大部分都很难发生碰撞或是被找出加密的原文，而且哈希值看起来是随机的。 加密哈希，如MD5，SHA256等，非加密哈希函数： 只是试图避免非恶意输入的冲突
阅读全文
摘要：前言 分布式全局ID的应用场景： 1、数据库的分表的主键ID生成方案 2、有些分布式部署、微服务等场景中，需要生成全局性的唯一ID 一、分布式ID生成规则硬性要求： 1、全局唯一：不能出现重复的ID号，既然是唯一标识，这是最基本的要求。 2、趋势递增：MySQL中InnoDB引擎使用的是聚集索引。多
阅读全文
摘要：一、产生背景： 在分布式系统中，有一些需要使用全局唯一ID的场景，这种时候为了防止ID冲突可以使用36位的UUID，但是UUID有一些缺点，首先他相对比较长，另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID，并且希望ID能够按照时间有序生成。而twitter的SnowFlake解决
阅读全文
摘要：一、@RequestBody @RequestBody主要用来接收前端传递给后端的json字符串中的数据的(请求体中的数据的)；而最常用的使用请求体传参的无疑是POST请求了，所以使用@RequestBody接收数据时，一般都用POST方式进行提交。在后端的同一个接收方法里，@RequestBody
阅读全文
摘要：MongoDB 是一个典型的NoSQL（not only sql）数据库是开源的面向文档的数据库管理系统，主要实现NoSQL数据库管理系统，用于存储海量数据（humongous，Mongo名称的由来）。。 ElasticSearch是基于Apache Lucene 的RESTful 实时搜索和分析引
阅读全文
摘要：以下是个人的理解，记笔记如下： Regions： 区域，即提供云服务的一个区域，是一个物理区域的概念，其目的是为了用户能就近接入，降低网络延迟。通常是一个城市的若干个AZ组成一个region。 Availability Zones： 一个 region 内至少两个通常三个可用区，其用途是为了搭建高可
阅读全文
摘要：一、关于逻辑备份和物理备份 物理备份恢复速度比较快，占用空间比较大。 逻辑备份速度比较慢，占用空间比较小。逻辑备份的恢复成本高。 二、逻辑备份 逻辑备份是备份sql语句，在恢复的时候执行备份的sql语句实现数据库数据的重现。比如：mysqldump是采用SQL级别的备份机制，它将数据表导成SQL脚本
阅读全文
摘要：一、Kubernetes简称K8S 是一个基于容器技术的分布式架构解决方案，提供了完善的管理工具，涵盖了开发、部署、动态扩容、滚动升级、运维监控等多个方面。相比于Docker，K8S是容器的管理者，协调者，监控者（一个全局把控的角色），而Docker则在这个平台中充当运行时。（Docker生态也有类
阅读全文
摘要：从HttpServletRequest中如何获取body中的参数？ 一、 Map<String,Object> params = new HashMap<String, Object>(); BufferedReader br; try { br = request.getReader(); Str
阅读全文
摘要：数据湖(Data Lake)是Pentaho公司创始人及CTO James Dixon于2010年10月在2010年10月纽约Hadoop World大会上提出来的一种数据存储理念—即在系统或存储库中以自然格式存储数据的方法。数据湖作为一个集中的存储库，可以在其中存储任意规模的结构化和非结构化数据。
阅读全文
摘要：一、Delta、Hudi、Iceberg对比概览 由于Apache Spark在商业化上取得巨大成功，所以由其背后商业公司Databricks推出的Delta lake也显得格外亮眼。在没有delta数据湖之前，Databricks的客户一般会采用经典的lambda架构来构建他们的流批处理场景。 A
阅读全文
摘要：一、 Lambda架构 Storm的创始人Nathan Marz提出的Lambda架构是现在进行实时处理的常见架构。它设计的目的是以低延迟处理和更新数据、支持线性扩展和容错机制。速度层可以直接消费kafka中的数据，也可以对数据进行分层再消费都可以。如下图： 优点： 稳定，对于实时计算部分的计算成本
阅读全文
摘要：Google的三驾马车：Google FS、MapReduce、BigTable。虽然Google没有公布这三个产品的源码，但是他发布了这三个产品的详细设计论文，奠定了风靡全球的大数据算法的基础！ 2003年，Google发布Google File System论文，这是一个可扩展的分布式文件系统，
阅读全文
摘要：杀手锏是一个汉语词语，原意为小说中搏斗时出其不意地用锏投杀敌人的绝招，现指出其不意击敌制胜的招数，比喻看家本领，关键时刻克敌制胜的绝招。 比如：面试中的杀手锏面试题，解决问题的杀手锏SQL，电脑中的杀手锏软件，编程语言是程序员的杀手锏等等。
阅读全文
摘要：这个名字是来源于建筑界的脚手架，如下图： 脚手架（scaffold) 指施工现场为工人操作并解决垂直和水平运输而搭设的各种支架。建筑界的通用术语，指建筑工地上用在外墙、内部装修或层高较高无法直接施工的地方。主要为了施工人员上下干活或外围安全网维护及高空安装构件等，说白了**是搭架子，脚手架制作材料通
阅读全文
