06 2020 档案

摘要:本篇给大家总结了20道Kafka知识点或者说面试题,持续更新中...1.kafka的3个关键功能?发布和订阅记录流,类似于消息队列或企业消息传递系统。以容错的持久方式存储记录流。处理记录流。2.kafka通常用于两大类应用?建立实时流数据管道,以可靠地在系统或应用程序之间获取数据构建实时流应用程序, 阅读全文
posted @ 2020-06-29 19:13 奈学教育 阅读(289) 评论(0) 推荐(0) 编辑
摘要:- 消息详解 - 一、概述 在 《柔性事务之TCC详解》 和《柔性事务之Saga详解》两文中我们详细剖析了柔性事务的第一个分支补偿型事务。在《刚性事务总结和柔性事务概述》中我们介绍过的柔性事务包含补偿型事务和通知型事务。 通知型事务主要包含事务消息和最大努力通知型分布式事务两个组成。通知型事务的核心 阅读全文
posted @ 2020-06-29 18:46 奈学教育 阅读(293) 评论(0) 推荐(0) 编辑
摘要:数据湖本身是一个中心化的存储,能够存储任意规模的结构化与非结构化数据。数据湖相比数据仓库有很多的优势,但大多是在理想状态下的,一旦执行起来还有很多技术挑战。 (一)数据湖的数据可能并不会真正做到实时。在业务环境下,如果把所有数据都放到数据湖里,那么从数据湖直接调用数据的过程可能比原来数据仓库更慢,因 阅读全文
posted @ 2020-06-28 19:23 奈学教育 阅读(410) 评论(0) 推荐(0) 编辑
摘要:储存方面:数据湖中数据为非结构化的,所有数据都保持原始形式;存储所有数据,并且仅在分析时再进行转换。数据仓库就是数据通常从事务系统中提取,在将数据加载到数据仓库之前,会对数据进行清理与转换。 数据组织形式:数据湖就是捕获半结构化和非结构化数据。而数据仓库则是捕获结构化数据并将其按模式组织。 用途:数 阅读全文
posted @ 2020-06-28 19:06 奈学教育 阅读(652) 评论(0) 推荐(0) 编辑
摘要:爱因斯坦曾说:上帝不玩掷骰子。但是物理界薛定谔的猫和生物界女朋友的脾气就是不可测量,不可揣摩的两大难题。经常听各种段子,女朋友莫名的又生气了。我们试着从概率上解释下,女朋友生气是不是随机的(滑稽脸.jpg)。 说到概率,有一个特别经典的问题:存在三个盒子,其中一个盒子中存放着大奖。现在你随机挑选了其 阅读全文
posted @ 2020-06-24 19:14 奈学教育 阅读(465) 评论(0) 推荐(0) 编辑
摘要:混沌工程简介 混沌工程师一门新兴的技术学科,它的初衷是通过实验性的方法,让人们建立复杂分布式系统能够在生产中抵御事件能力的信息。 —— Principles of Chaos Engineering 有没有这种感觉,当你写下第一行代码的时候,后面等着你的就是不断和系统中的各种错误做斗争?年纪大了,老 阅读全文
posted @ 2020-06-24 18:29 奈学教育 阅读(409) 评论(0) 推荐(0) 编辑
摘要:深度剖析了各个基础技术的源码(ZooKeeper、Hive、Spark、Flink、Hadoop等),对这些基础技 术知识动态的排列组合,形成大数据全局架构观,并深入讲述大数据全局架构设计的方方面面,打 造真正满足企业万亿级海量数据规模的数据中台,真正赋能前台业务。同时,在企业万亿级真实项 目落地环 阅读全文
posted @ 2020-06-23 15:08 奈学教育 阅读(1072) 评论(0) 推荐(0) 编辑
摘要:孙玄与沈剑联手全新设计,《P7架构师》融合了业界数位大咖超10年开发经验以及他们的架构师成长经验。同时,课程由一线大厂资深架构师(阿里P8+)进行主讲。业内首次将分布式架构全部技术串联,并结合大厂真实案例实践讲解,并提供基于百度、58和转转等真实案例的工业级落地代码,将后端架构技术全面系统的展现,帮 阅读全文
posted @ 2020-06-23 14:45 奈学教育 阅读(1375) 评论(1) 推荐(0) 编辑
摘要:课程从Java核心基础知识入手,深入JDK、JVM底层源码实现,以及对各种开源框架的优雅设计剖析,为学员打下坚实的基础,让源码学习和底层原理梳理变得更加的简单、清晰、有效。通过结合企业级真实项目案例,融合核心技术知识点与框架级设计思想,进一步夯实核心技术能力的理解和应用。让学员面对企业变化多样的需求 阅读全文
posted @ 2020-06-23 12:04 奈学教育 阅读(626) 评论(0) 推荐(0) 编辑
摘要:《百万架构师》课程由58集团技术委员会主席孙玄创办于2018年,至今已高质量、高口碑开班多期。 奈学教育出品的《百万架构师》是在原有课程基础上全新升级打造而成。课程首次联手业内知名架构师沈剑精心打磨,深度对标阿里P8。更有超强教研团队:陈东、姚劲、李希沅、江士仕、肖秋平、林淮川、吴守星、向寒等P8+ 阅读全文
posted @ 2020-06-22 19:00 奈学教育 阅读(1194) 评论(0) 推荐(0) 编辑
摘要:本课程针对企业不同数据规模技术方案进行讲解,紧贴企业热门需求,深入讲解企业级大数据技术的数据存储技术、数据采集技术、数据处理技术、任务调度技术等;课程针对知识点进行企业级案例式教学,理论结合实战,从0到1构建大数据生态技术的方方面面,内容涵盖大数据平台、Spark、Flink、OLAP等核心技术;用 阅读全文
posted @ 2020-06-22 17:57 奈学教育 阅读(466) 评论(0) 推荐(0) 编辑
摘要:阶段一:核心基础组件源码深入剖析篇第一单元 掌握RPC核心原理 1.RPC核心原理剖析2.RPC核心知识剖析第二单元 掌握RPC具体开源项目原理与实践 1. RPC核心知识剖析2. Dubbo深度讲解第三单元 掌握RocketMQ的原理与应用 1. 消息队列设计思考2. 消息队列选型场景与方案3. 阅读全文
posted @ 2020-06-22 16:42 奈学教育 阅读(627) 评论(1) 推荐(0) 编辑
摘要:第一阶段:分布式协调组件 第一单元 掌握ZooKeeper的核心设计 1. ZooKeeper生态体系结构 2. ZooKeeper总体架构设计 3. ZooKeeper读写请求流程深度剖析 第二单元 掌握ZooKeeper服务端源码流程 1. ZooKeeper启动流程源码深度剖析 2. Mast 阅读全文
posted @ 2020-06-18 18:15 奈学教育 阅读(354) 评论(0) 推荐(0) 编辑
摘要:第一阶段:基础架构设计与实践之道篇 第一单元 通过架构演进掌握架构设计核心思维模式 智能互联网之总体架构设计(上) 第二单元 通过架构演进掌握架构设计核心思维模式 智能互联网之总体架构设计(下) 第三单元 掌握高可用架构设计基本原则 智能互联网之核心技术实践篇(上) 第四单元 掌握核心技术之分布式资 阅读全文
posted @ 2020-06-18 17:32 奈学教育 阅读(463) 评论(0) 推荐(0) 编辑
摘要:Spring Boot 文件的上传下载 说真的,在 Spring Boot 实现文件下载,真的是方便到让我颤抖。Java 中实现文件上传可以用两个组件:CommonMultipartResolver 和 StandardServletMultipartResolver。 Spring Boot 在 阅读全文
posted @ 2020-06-17 18:34 奈学教育 阅读(186) 评论(0) 推荐(0) 编辑
摘要:Spring Boot 处理 JSON 数据 JSON 是目前主流的前后端数据传输方式,当 Controller 中返回的是一个 Java 对象或 List 集合时,Spring Boot 将自动把它转换成 JSON 数据。 Spring Boot 中内置了 JSON 解析功能,当你在项目中,添加了 阅读全文
posted @ 2020-06-17 17:35 奈学教育 阅读(205) 评论(0) 推荐(0) 编辑
摘要:- 起源 - TCC概念由Pat Helland于2007年发表的一篇名为《Life beyond Distributed Transactions:an Apostate’s Opinion》的论文提出, 在该论文中,TCC还是以Tentative-Confirmation-Cancellatio 阅读全文
posted @ 2020-06-16 17:52 奈学教育 阅读(329) 评论(0) 推荐(0) 编辑
摘要:1. Web 开发的支持 使用 Spring Boot 实现 Web 开发更加便捷了,因为直接依赖 spring-boot-starter-web 模块即可支持 Web 开发,此模块预定义了 Web 开发中常用的依赖包,还有内嵌的 Tomcat 作为默认 Web 容器。 2. Thymeleaf 模 阅读全文
posted @ 2020-06-16 17:13 奈学教育 阅读(166) 评论(0) 推荐(0) 编辑
摘要:1. 关闭指定的自动配置 通过上面的 @EnableAutoConfiguration 注解就能根据指定的依赖,自动进行配置。但如果你想关闭某一项自动配置,就需要使用 @SpringBootApplication 下的 exclude 参数来设置。比如,我想关闭 DataSource,代码具体如下: 阅读全文
posted @ 2020-06-16 16:28 奈学教育 阅读(150) 评论(0) 推荐(0) 编辑
摘要:1 @SpringBootApplication 注解 Spring Boot 的启动类,也就是入口类,需要使用 @SpringBootApplication 注解来标注。在启动类中,我们的 main 方法就是 Java 应用程序的入口方法。 @SpringBootApplication 是一个组合 阅读全文
posted @ 2020-06-15 19:24 奈学教育 阅读(148) 评论(0) 推荐(0) 编辑
摘要:1、Spring Boot 概述 Spring 框架,作为一个非常优秀的轻量级容器,在企业级项目开发中非常受欢迎,但它在使用期间需要整合众多第三方资源,都会导致配置过于臃肿,这也是令大家非常头疼的问题。 Spring Boot 的出现,就是为了让大家更方便去使用 Spring 框架进行开发,它基于“ 阅读全文
posted @ 2020-06-15 18:44 奈学教育 阅读(168) 评论(0) 推荐(0) 编辑
摘要:这两年大数据行业发展前景较好,行业工程师薪资高、人才少、竞争压力小,很多人也因此想要转型成为大数据工程师,但也正是因为行业新、人才少,很多技术解决方案也是缺少很优质的答案。今天,我给大家详细剖析一个大数据工程师面试中的高频面试题——Kafka是如何保证数据零丢失的? 如果要想保证Kafka数据不丢, 阅读全文
posted @ 2020-06-12 18:19 奈学教育 阅读(268) 评论(0) 推荐(0) 编辑
摘要:大中台战略下,中台将公司业务的公共能力下沉,并采用更加合理、可复用的架构和技术来实现这些基础能力。在电商行业内,将面临货物的采购、商品上架、交易发生、订单状态变化、客服介入等大量状态维护。每个状态之间具有很强的逻辑关联关系,比如:退款操作在发货前和发货后将是完全不同的流程,如图1订单退款流程。 ​图 阅读全文
posted @ 2020-06-12 17:37 奈学教育 阅读(243) 评论(0) 推荐(0) 编辑
摘要:Apache Spark是行业中流行和广泛使用的大数据工具之一。Apache Spark已成为业界的热门话题,并且如今非常流行。但工业正在转移朝向apache flink。 Apache Spark简介 Apache Spark是为快速计算而设计的开源,闪电般快速的集群计算框架。Apache Spa 阅读全文
posted @ 2020-06-11 19:19 奈学教育 阅读(212) 评论(0) 推荐(0) 编辑
摘要:Elasticsearch(ES)是一款基于Lucene的开源分布式搜索引擎。由于其稳定、可靠、快速、安装使用方便等优良特性,目前在业界已广泛使用。ES用途主要分两个方向:分布式实时文件存储 以及 分布式实时分析搜索引擎。 一、为什么需要查询代理 屏蔽复杂的DSL 某二手交易平台使用ES,主要用来支 阅读全文
posted @ 2020-06-11 18:39 奈学教育 阅读(222) 评论(0) 推荐(0) 编辑
摘要:Kafka 至今仍是当今大数据技术中当之无愧的王者,由于高吞吐量、可持久化、分布式、支持流数据处理等特性而被广泛应用。 这几年,大数据技术发展迅猛,其中 Kakfa 凭借高可靠、高吞吐、高可用、可伸缩几大特性,成为数据管道技术的首选。越来越多人开始使用 Kafka,对学习源码的需求也愈发强烈,原因主 阅读全文
posted @ 2020-06-10 17:20 奈学教育 阅读(273) 评论(0) 推荐(0) 编辑
摘要:新一期学员相聚于奈学线上课堂,这一次,我们一同向P7冲刺!很多工作了3年的程序员习惯了每天机械性的写代码,但是如果一个程序员不能从架构师的角度思考问题,带领团队,整体完成一个复杂系统的架构设计与开发,就永远也不会了解如何做一个优秀的架构师;那么如何突破上述瓶颈?有两个关键点:一是技术够硬,作为技术领 阅读全文
posted @ 2020-06-10 16:30 奈学教育 阅读(272) 评论(0) 推荐(0) 编辑
摘要:为什么会有ZooKeeper 我们知道要写一个分布式应用是非常困难的,主要原因就是局部故障。一个消息通过网络在两个节点之间传递时,网络如果发生故障,发送方并不知道接收方是否接收到了这个消息。有可能是收到消息以后发生了网络故障,也有可能是没有收到消息,又或者可能接收方的进程死了。发送方唯一的确认方法就 阅读全文
posted @ 2020-06-09 16:09 奈学教育 阅读(251) 评论(0) 推荐(0) 编辑
摘要:“很多人可能对自由职业感兴趣,自由职业在欧美国家比较流行,韩国也越来越多的人开始自由职业方式办公,可能是因为文化观念的不同,欧美国家对各种各样的生活方式都会包容性更强一些,当然中国这方面在大城市也越来越好,所以当我们自由职业的时候,我们只是在体验不同的生活方式。这次我会毫无保留的把我的一些体验分享给 阅读全文
posted @ 2020-06-09 15:14 奈学教育 阅读(442) 评论(0) 推荐(0) 编辑
摘要:这一篇文章系统的梳理主流定时器算法实现的差异以及应用地方。 1. 定时器介绍 程序里的定时器主要实现的功能是在未来的某个时间点执行相应的逻辑。在定时器模型中,一般有如下几个定义。 interval:间隔时间,即定时器需要在interval时间后执行 StartTimer:添加一个定时器任务 Stop 阅读全文
posted @ 2020-06-08 18:13 奈学教育 阅读(228) 评论(0) 推荐(0) 编辑
摘要:提起微服务架构,不可避免的两个话题就是服务治理和分布式事务。数据库和业务模块的垂直拆分为我们带来了系统性能、稳定性和开发效率的提升的同时也引入了一些更复杂的问题,例如在数据一致性问题上,我们不再能够依赖数据库的本地事务,对于一系列的跨库写入操作,如何保证其原子性,是微服务架构下不得不面对的问题。 1 阅读全文
posted @ 2020-06-08 16:49 奈学教育 阅读(211) 评论(0) 推荐(0) 编辑
摘要:电商行业在近十几年中,经历过大大小小的促销活动和秒杀上百次,每次做秒杀瞬时访问量会翻数十倍,甚至数百倍。对系统架构是巨大的考验,期间也曾经历过系统宕机,甚至整体雪崩。那么我们怎么设计秒杀系统,才能保证秒杀系统的高性能和稳定性,同时还要保证日常业务不受影响呢? 先看看秒杀场景特点。秒杀开始前几分钟,大 阅读全文
posted @ 2020-06-08 15:18 奈学教育 阅读(210) 评论(0) 推荐(0) 编辑
摘要:从概念开始 我们先从事务的定义开始。事务即一系列读存动作被当作一个执行单元,这些动作要么全成功,要么全失败,执行动作的过程中保证数据的隔离性和一致性。 我们抛离数据库这个特定场景,先假设一个数据存储设备,我们定义两个标准操作,一个读一个写。当写操作依赖于读到的数据时,执行的顺序决定了得到的结果。 当 阅读全文
posted @ 2020-06-06 18:23 奈学教育 阅读(296) 评论(0) 推荐(0) 编辑
摘要:在人口流量红利不再,获客成本越来越高的时代,精益创业、MVP 的概念已经深入人心,精细化运营也是大势所趋,而这些背后本质上都依赖数据化运营,那如何根据现有业务,快速从 0 开始打造一个契合业务的数据产品呢?本文将以某二手交易平台业务为基础,讲述整个数据平台从 0 到 1 的演进与实践,希望对大家能有 阅读全文
posted @ 2020-06-06 16:48 奈学教育 阅读(528) 评论(0) 推荐(0) 编辑
摘要:架构师一直是程序员「羡慕且追求」的高度,今天来说说我(奈学教育CEO:孙玄)眼里优秀的架构师该如何定义。毕竟我也曾经是一名架构师: 在开始今天的话题之前我说一个和我前公司P9现在已经是P10的对话。 问题是这样的他说公司中间件架构师不熟悉公司业务,很多事落地不了,非常的疑惑。他最近主要任务就是和这些 阅读全文
posted @ 2020-06-06 11:46 奈学教育 阅读(455) 评论(0) 推荐(0) 编辑
摘要:经常思考一个问题,为什么我们需要分布式?很大程度或许是不得已而为之。如果摩尔定律不会失效,如果通过低成本的硬件就能解决互联网日益增长的计算存储需求,是不是我们也就不需要分布式了。 过去的二三十年,是一场软件工程师们自我拯救的,浩浩荡荡的革命。分布式技术的发展,深刻地改变了我们编程的模式,改变了我们思 阅读全文
posted @ 2020-06-05 17:30 奈学教育 阅读(305) 评论(0) 推荐(0) 编辑
摘要:小灰工作3年了,一直在一家初创公司做大数据架构师,最近几次大厂的面试经历都百般不顺,小灰心如死灰,想着如果一直跳槽无望,只能跟着时下最火的地摊儿大军一起去出摊儿谋生了。 被问到了为什么要使用 Kafka,有哪种场景下需要使用 JMS,小灰一脸问号。工作几年来,接触了 Kafka,Elasticsea 阅读全文
posted @ 2020-06-05 12:12 奈学教育 阅读(219) 评论(0) 推荐(0) 编辑
摘要:分布式一致性 分布式场景下,多个服务同时对服务一个流程,比如电商下单场景,需要支付服务进行支付、库存服务扣减库存、订单服务进行订单生成、物流服务更新物流信息等。如果某一个服务执行失败,或者网络不通引起的请求丢失,那么整个系统可能出现数据不一致的原因。 上述场景就是分布式一致性问题,追根到底,分布式一 阅读全文
posted @ 2020-06-05 10:43 奈学教育 阅读(323) 评论(0) 推荐(0) 编辑
摘要:5G时代,业务数据越来越丰富,业务使用MySQL数据库作为后台存储,存储引擎使用InnoDB,会带来哪些挑战?如何针对公司业务特点及MySQL数据库特性,制定若干数据库使用规范供一线RD在设计业务时参考部分内容要求强制执行。本文从介绍MySQL相关关键基础架构,并结合实际案例介绍表和索引的设计技巧, 阅读全文
posted @ 2020-06-04 17:38 奈学教育 阅读(241) 评论(0) 推荐(0) 编辑
摘要:今天给大家分享一个大数据里面很火的技术——Kafka,Kafka 是一个分布式的消息系统,其高性能在圈内很出名。本人阅读过多个大数据生态的开源技术的源码,个人感觉 Kafka 的源码质量是比较高的一个,如果有同学感兴趣的话,可以拿来阅读一下。网上也有不少的文章分析 Kafka 的性能为什么那么好,但 阅读全文
posted @ 2020-06-04 16:22 奈学教育 阅读(593) 评论(0) 推荐(0) 编辑
摘要:2PC必须注意的问题 咱们上文介绍了分布式事务的常见方案、类型划分、2PC的起源和流程。但是不幸的是2PC还是存在几个问题: 1、全流程的同步阻塞:不管是第一阶段还是第二阶段,所有参与节点都是事务阻塞型。当参与者占有公共资源时,其他第三方访问公共资源可能不得不处于阻塞状态。 2、TM单点故障:由于全 阅读全文
posted @ 2020-06-04 11:40 奈学教育 阅读(365) 评论(0) 推荐(0) 编辑
摘要:本篇文章将从贝叶斯公式出发,探究贝叶斯到底是啥,以及其在认知层面的巨大作用。不过据说每出现 1 个公式,文章阅读将下降 1/3。 华为大佬说:人工智能就是统计学。在我眼中,贝叶斯公式就是统计学走向机器学习的起点。 贝叶斯公式 贝叶斯定理(Bayes’s Rule):如果有k个相互独立事件 A1,A2 阅读全文
posted @ 2020-06-03 19:02 奈学教育 阅读(1108) 评论(0) 推荐(0) 编辑
摘要:Kafka 是一个高吞吐量的分布式的发布订阅消息系统,在全世界都很流行,在大数据项目里面使用尤其频繁。笔者看过多个大数据开源产品的源码,感觉 Kafka 的源码是其中质量比较上乘的一个,这得益于作者高超的编码水平和高超的架构设计能力。 Kafka 的核心源码分为两部分:客户端源码和服务端源码,客户端 阅读全文
posted @ 2020-06-03 17:04 奈学教育 阅读(320) 评论(0) 推荐(0) 编辑
摘要:经常有大数据工程师问我,自己想往大数据架构师方向发展,问我应该怎么努力! 其实,蹲上架构师的坑需要的是更高层次的开发构架设计能力。这时候,架构师技术能力的强弱、素质的高低直接关乎了软件项目的成败!所以,架构师要对开发技术非常非常了解,脑海中要有一个体系! 多一点真诚,少一点套路!这里直接送给大家超全 阅读全文
posted @ 2020-06-03 15:29 奈学教育 阅读(438) 评论(0) 推荐(0) 编辑
摘要:首先准备一个hadoop源码包,我选择的hadoop版本是:hadoop-2.7.7-src.tar.gz,在hadoop-2.7.7的源码包的根目录下有一个文档叫做BUILDING.txt,这其中说明了编译hadoop所需要的一些编译环境相关的东西。不同的hadoop版本的要求都不一样,对应的版本 阅读全文
posted @ 2020-06-03 12:17 奈学教育 阅读(251) 评论(0) 推荐(0) 编辑
摘要:《Hive底层执行引擎的深度剖析》的公开课,助力懵懂小伙伴进阶真正的Hive顶尖高手。 阅读全文
posted @ 2020-06-02 18:10 奈学教育 阅读(623) 评论(0) 推荐(0) 编辑
摘要:昨天,我刚拿到朋友5月份刚琢磨出的 大数据开发工程师 的进阶技术大纲,他们年前就开始设计的 标准大数据体系的技术大纲,展开后非常的详细!!共有 787 个技术分支,必须让大家快速搭建个人技术体系、突破技术壁垒!! 阅读全文
posted @ 2020-06-02 17:35 奈学教育 阅读(1166) 评论(0) 推荐(0) 编辑
摘要:分布式系统中,大部分系统调用都会涉及到负载均衡,例如:客户端发往服务端的请求首先到达反向代理,然后反向代理再通过负载均衡算法将请求转发到业务系统;或者后端业务系统各模块间的调用前,也需要通过负载均衡算法选择到一个目标节点。 一般情况下,我们对负载均衡的要求就是均匀,确保调用方的请求流量能够均匀的发送 阅读全文
posted @ 2020-06-01 15:50 奈学教育 阅读(234) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示