随笔分类 -  分布式与大数据

摘要:当今这个时代,我相信大部分人对“大数据”这三个字肯定都不陌生,或多或少都有接触过,例如大数据杀熟。 对我们程序员来说,仅仅知道或听过一些名词是不够的,至少需要知晓其中大概的原理,并且对常见的大数据组件有一定的认识,不说拿出去吹牛,至少也要听得懂别人吹牛。 今天这篇文章就简单介绍下大数据的用途,大数据 阅读全文
posted @ 2022-10-17 09:41 苍青浪 阅读(558) 评论(0) 推荐(0) 编辑
摘要:前言 在分布式系统中,由于redis分布式锁相对于更简单和高效,成为了分布式锁的首先,被我们用到了很多实际业务场景当中。 但不是说用了redis分布式锁,就可以高枕无忧了,如果没有用好或者用对,也会引来一些意想不到的问题。 今天我们就一起聊聊redis分布式锁的一些坑,给有需要的朋友一个参考。 1 阅读全文
posted @ 2021-10-14 10:36 苍青浪 阅读(1250) 评论(0) 推荐(0) 编辑
摘要:谈到大数据传输都会想到 Kafka,Kafka 号称大数据的杀手锏,在业界有很多成熟的应用场景并且被主流公司认可。这款为大数据而生的消息中间件,以其百万级TPS的吞吐量名声大噪,迅速成为大数据领域的宠儿,在数据采集、传输、存储的过程中发挥着举足轻重的作用。 在业界已经有很多成熟的消息中间件如:Rab 阅读全文
posted @ 2021-08-27 15:35 苍青浪 阅读(302) 评论(0) 推荐(0) 编辑
摘要:谈谈一致性 一致性就是数据保持一致,在分布式系统中,可以理解为多个节点中数据的值是一致的。 强一致性:这种一致性级别是最符合用户直觉的,它要求系统写入什么,读出来的也会是什么,用户体验好,但实现起来往往对系统的性能影响大 弱一致性:这种一致性级别约束了系统在写入成功后,不承诺立即可以读到写入的值,也 阅读全文
posted @ 2021-05-26 09:56 苍青浪 阅读(578) 评论(0) 推荐(0) 编辑
摘要:1、ZooKeeper介绍与核心概念1.1 简介ZooKeeper最为主要的使用场景,是作为分布式系统的分布式协同服务。在学习zookeeper之前,先要对分布式系统的概念有所了解,否则你将完全不知道zookeeper在分布式系统中起到了什么作用,解决了什么问题。 1.2分布式系统面临的问题我们将分 阅读全文
posted @ 2019-11-02 16:27 苍青浪 阅读(330) 评论(0) 推荐(0) 编辑
摘要:RPC(Remote Procedure Call)远程过程调用,主要解决远程通信间的问题,不需要了解底层网络的通信机制。 RPC框架 知名度较高的有Thrift(FB的)、dubbo(阿里的)。 RPC的一般需要经历4个步骤: 1、建立通信 首先要解决通讯的问题:即A机器想要调用B机器,首先得建立 阅读全文
posted @ 2019-10-16 08:13 苍青浪 阅读(1935) 评论(0) 推荐(0) 编辑
摘要:早在传统的单体应用时代,查看日志大都通过SSH客户端登服务器去看,使用较多的命令就是 less 或者 tail。如果服务部署了好几台,就要分别登录到这几台机器上看,等到了分布式和微服务架构流行时代,一个从APP或H5发起的请求除了需要登陆服务器去排查日志,往往还会经过MQ和RPC调用远程到了别的主机 阅读全文
posted @ 2019-06-05 08:02 苍青浪 阅读(7121) 评论(1) 推荐(0) 编辑
摘要:Kafka支持的基本命令位于${KAFKA_HOME}/bin文件夹中,主要是kafka-topics.sh命令; -1. 查看帮助信息 bin/kafka-topics.sh --help -2. 创建Topic bin/kafka-topics.sh --create --topic test0 阅读全文
posted @ 2019-05-25 17:09 苍青浪 阅读(16265) 评论(0) 推荐(2) 编辑
摘要:1. 概述 Zookeeper是Hadoop的一个子项目,它是分布式系统中的协调系统,可提供的服务主要有:配置服务、名字服务、分布式同步、组服务等。 它有如下的一些特点: 简单 Zookeeper的核心是一个精简的文件系统,它支持一些简单的操作和一些抽象操作,例如,排序和通知。 丰富 Zookeep 阅读全文
posted @ 2019-05-24 14:53 苍青浪 阅读(395) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示
哥伦布
03:14发布
哥伦布
03:14发布
7°
多云
西南风
3级
空气质量
相对湿度
64%
今天
多云
-1°/10°
周三
小雨
2°/12°
周四
中雨
2°/14°