摘要:
为什么要对数据仓库进行分层 自从大数据平台hadoop 及其技术火起来之后,无论是政企、民企还是各类金融机构,都掀起了一股大数据技术转型、数据仓库重构、智能数据分析、AI 等一系列黑科技且高大上的热潮。其实,是否转型大数据技术以后,产品营销、风险管控、数据分析、管理决策等企业核心诉求都可以应有尽有呢 阅读全文
2020年9月8日 #
2020年9月5日 #
摘要:
前言 学习一个知识之前,我觉得比较好的方式是先理解它的来龙去脉:即这个知识产生的过程,它解决了什么问题,它是怎么样解决的,还有它引入了哪些新的问题(没有银弹),这样我们才能比较好的抓到它的脉络和关键点,不会一开始就迷失在细节中。 所以,在学习分布式系统之前,我们需要解决的第一个问题是:分布式系统解决 阅读全文
2020年9月2日 #
摘要:
人才招聘如此重要,那么招聘者应该如何快速完成目标人才招聘呢?我会从以下三个方面为大家展开。 第一,基于业务需求,精准制定人才画像; 第二,基于人才地图,快速找到目标人才; 第三,基于人才画像,有效评估人才。 一、如何制定精准人才画像 对于科技型公司,应该如何基于业务需求,精准制定人才画像?又该如何通 阅读全文
摘要:
很多同学面对多线程的问题都很头大,因为自己做项目很难用到,但是但凡高薪的职位面试都会问到。。毕竟现在大厂里用的都是多线程高并发,所以这块内容不吃透肯定是不行的。 今天这篇文章,作为多线程的基础篇,先来谈谈以下问题: 为什么要用多线程? 程序 vs 进程 vs 线程 创建线程的 4 种方式? 为什么要 阅读全文
摘要:
这套业务系统中,学生在手机 App 中对老师布置的作业进行答题训练,每次答题训练提交的数据格式如下表所示: 例如,传入到后台的单条答题记录数据格式如下: 复制代码 { "student_id": " 学生 ID_16", "textbook_id": " 教材 ID_1", "grade_id": 阅读全文
摘要:
https://time.geekbang.org/column/article/177837?utm_source=related_read&utm_medium=article&utm_term=related_read 阅读全文
摘要:
我们纵观计算机软件发展史,发现这部历史堪称一部技术和业务不断分离的历史。人们不断将业务逻辑从技术实现上分离出来,各种技术和架构方案的出现,也基本都是为这一目标服务。最早的时候我们用机器语言和汇编语言编程,直接将业务逻辑用 CPU 指令实现,计算机软件就是 CPU 指令的集合,此时技术和业务完全耦合, 阅读全文
2020年8月27日 #
摘要:
导读:Kylin、Druid、ClickHouse是目前主流的OLAP引擎,本文尝试从数据模型和索引结构两个角度,分析这几个引擎的核心技术,并做简单对比。在阅读本文之前希望能对Kylin、Druid、ClickHouse有所理解。 01 Kylin数据模型 Kylin的数据模型本质上是将二维表(Hi 阅读全文
2020年8月25日 #
摘要:
kafka最初是被LinkedIn设计用来处理log的分布式消息系统,因此它的着眼点不在数据的安全性(log偶尔丢几条无所谓),换句话说kafka并不能完全保证数据不丢失。 尽管kafka官网声称能够保证at-least-once,但如果consumer进程数小于partition_num,这个结论 阅读全文
摘要:
如果将 consumer 设置为 autocommit,consumer 一旦读到数据立即自动 commit。如果只讨论这一读取消息的过程,那 Kafka 确保了 Exactly once。 但实际使用中应用程序并非在 consumer 读取完数据就结束了,而是要进行进一步处理,而数据处理与 com 阅读全文