摘要: 上一篇文章《阿里腾讯华为都在追捧的新一代大数据引擎Flink到底有多牛?》中我对新一代大数据处理引擎Flink做了简单的介绍,包括:批量计算与流式计算的区别、流式计算引擎的重要性,以及Flink相比其他流式计算引擎的优势。因为Flink性能优秀,解决了之前流式计算引擎的痛点,非常适合电商促销、风险控 阅读全文
posted @ 2021-09-27 23:02 ludongguoa 阅读(294) 评论(0) 推荐(0) 编辑
摘要: 今天这篇是算法与数据结构专题的第27篇文章,我们继续深入博弈论问题。今天我们要介绍博弈论当中非常重要的一个定理和函数,通过它我们可以解决许多看起来杂乱无章的博弈问题,使得我们可以轻松地解决一大类博弈问题。 有了SG函数和SG定理,我们不再是单纯地通过构思、分析和找规律去解决问题了。并且我们之前学过的 阅读全文
posted @ 2021-09-27 23:01 ludongguoa 阅读(215) 评论(0) 推荐(0) 编辑
摘要: 1.背景介绍 异常检测可以定义为“基于行动者(人或机器)的行为是否正常作出决策”,这项技术可以应用于非常多的行业中,比如金融场景中做交易检测、贷款检测;工业场景中做生产线预警;安防场景做入侵检测等等。 根据业务要求的不同,流计算在其中扮演着不同的角色:既可以做在线的欺诈检测,也可以做决策后近实时的结 阅读全文
posted @ 2021-09-27 23:00 ludongguoa 阅读(359) 评论(0) 推荐(0) 编辑
摘要: 今天是Python专题第20篇文章,我们来聊聊Python当中的多线程。 其实关于元类还有很多种用法,比如说如何在元类当中设置参数啦,以及一些规约的用法等等。只不过这些用法比较小众,使用频率非常低,所以我们不过多阐述了,可以在用到的时候再去详细了解。我想只要大家理解了元类的原理以及使用方法,再去学习 阅读全文
posted @ 2021-09-27 22:59 ludongguoa 阅读(305) 评论(0) 推荐(0) 编辑
摘要: 谈到架构,想到的一定是MVC、MVP、MVVM这几个词了,然后对比一下它们的优缺点,接下来就是站队的时间了。常常写MVC,偶然见到了MVP,“嗯,真香~”。写久了MVP,又听说了MVVM,“嗯,真香~”。“真香”定律真是被用得淋漓尽致,此外还要喜新厌旧一番,使用MVVM的鄙视使用MVP的,使用MVP 阅读全文
posted @ 2021-09-27 22:58 ludongguoa 阅读(161) 评论(0) 推荐(0) 编辑
摘要: 前面我们对MVC、MVP、MVVM进行了详尽的分析,但还有一个问题悬而未决,那就是生命周期。在Android平台上生命周期具有十分重要的意义,因此这也是架构必须考虑的因素之一。生命周期处理不好很容易发生内存泄漏,但对架构而言,真正困扰我们的却不是内存泄漏的问题,反而是因生命周期太短,实例被销毁重建, 阅读全文
posted @ 2021-09-27 22:56 ludongguoa 阅读(92) 评论(0) 推荐(0) 编辑
摘要: 在 《也谈Android应用架构》 和 《再谈Android应用架构——Jetpack VS 生命周期》 两篇文章中,我们详细论述了MVC、MVP、MVVM架构的思想、优缺点以及使用注意事项,并阐述了借助Jetpack强大的生命周期管控能力解决架构“本地化”的问题。但没有实践的论述不仅不直观,也应了 阅读全文
posted @ 2021-09-27 22:55 ludongguoa 阅读(320) 评论(0) 推荐(0) 编辑
摘要: 去年看到过一篇文章[1],说是通过OpenVSwitch的测试,GENEVE的性能要略优于VXLAN。我相信大多数人的反应可能跟我的第一反应一样,这不又是一种Overlay协议吗?为什么性能会更好?难道有什么黑科技?我们这次来分析一下GENEVE有什么不一样。 网络虚拟化 要说清楚来龙去脉,需要从网 阅读全文
posted @ 2021-09-27 22:52 ludongguoa 阅读(606) 评论(0) 推荐(0) 编辑
摘要: Network Slicing在国内翻译成网络切片。它频繁出现在5G相关的文档中,号称对5G网络至关重要。 什么是Network Slicing Network Slicing是一种虚拟化,它允许在一个共享的物理网络基础架构上,运行多个逻辑网络。每个逻辑网络之间是隔离的,并且能够提供定制的网络特性, 阅读全文
posted @ 2021-09-27 22:51 ludongguoa 阅读(150) 评论(0) 推荐(0) 编辑
摘要: 近日市场投放部门的同事找我说,在应用商店输入关键字查看我们APP的排名,这个能不能通过技术自动化实现?本以为是件很简单的事情,结果做的时候遇到了重重阻碍,于是就有了这次逆向之旅。 逆向,听起来就很黑客的词,好像比开发高大上好多倍啊。真正接触到才明白,逆向其实是一个很需要耐心,会查阅资料,又比较依赖运 阅读全文
posted @ 2021-09-27 22:50 ludongguoa 阅读(247) 评论(0) 推荐(0) 编辑
摘要: Github 最新推出的 Codespaces 可以实现基于 VS Code 的云端代码编译。现在,你在手机、平板上都可以直接进行开发。 云端开发不能更美好了,用上 Codespaces 后,不仅可以把 IDE 卸载掉,什么 Conda、Docker 都可以删了「大误」。 再见,VS code !你 阅读全文
posted @ 2021-09-27 22:49 ludongguoa 阅读(51) 评论(0) 推荐(0) 编辑
摘要: 一、Apache Flink 的定义、架构及原理 Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据进行快速计算。 1. Flink Application 了解 Flink 应用开发需要先理解 Fl 阅读全文
posted @ 2021-09-27 22:48 ludongguoa 阅读(196) 评论(0) 推荐(0) 编辑
摘要: 文章内容 自定义Flink Source,案例分别实现了继承于SourceFunction的四个案例,三个完全自定义的Source, 另外一个Source为常见的MySQL,通过这几个案例,启发我们进行实际案例的Source研发 代码版本 Flink : 1.10.0Scala : 2.12.6 官 阅读全文
posted @ 2021-09-27 22:47 ludongguoa 阅读(323) 评论(0) 推荐(0) 编辑
摘要: 数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务,数据仓库的建设也是“数据智能”中必不可少的一环。本文将从数据仓库的简介、经历了怎样的发展、如何建设、架构演变、应用案例以及实时数仓与离线数仓的对比六个方面全面分享关于数仓的详细内容。 1.数据仓库简介 数据仓库是一个面向主题的(Subje 阅读全文
posted @ 2021-09-27 22:46 ludongguoa 阅读(79) 评论(0) 推荐(0) 编辑
摘要: 1. Time Flink中的时间(Time)主要分为三种: Event Time:每条数据真实的产生时间,这就要求每条进入Flink应用的数据都要自己带有时间戳,标明数据产生时间; Ingestion Time:是介于Event time和 Processing Time之间的时间。在数据通过So 阅读全文
posted @ 2021-09-27 22:45 ludongguoa 阅读(156) 评论(0) 推荐(0) 编辑
摘要: 传统的数据库SQL和实时SQL处理的差别还是很大的,这里简单列出一些区别: 尽管存在这些差异,但使用关系查询和SQL处理流并非不可能。高级关系数据库系统提供称为物化视图的功能。物化视图定义为SQL查询,就像常规虚拟视图一样。与虚拟视图相比,物化视图缓存查询的结果,使得在访问视图时不需要执行查询。缓存 阅读全文
posted @ 2021-09-27 22:43 ludongguoa 阅读(438) 评论(0) 推荐(0) 编辑
摘要: 简介: 反压(backpressure)是实时计算应用开发中,特别是流式计算中,十分常见的问题。反压意味着数据管道中某个节点成为瓶颈,处理速率跟不上上游发送数据的速率,而需要对上游进行限速。 反压(backpressure)是实时计算应用开发中,特别是流式计算中,十分常见的问题。反压意味着数据管道中 阅读全文
posted @ 2021-09-27 22:38 ludongguoa 阅读(309) 评论(0) 推荐(0) 编辑
摘要: 一. 数据切分 二. 分库分表带来的问题 三. 什么时候考虑切分 四. 案例分析 五. 支持分库分表中间件 六. 参考 《Java 2019 超神之路》 《Dubbo 实现原理与源码解析 —— 精品合集》 《Spring 实现原理与源码解析 —— 精品合集》 《MyBatis 实现原理与源码解析 — 阅读全文
posted @ 2021-09-27 22:37 ludongguoa 阅读(59) 评论(0) 推荐(0) 编辑
摘要: 分布式锁的实现方式有很多,本篇文章讲述一下使用Redis实现分布式锁。网上有很多使用Redis实现分布式锁的代码,但是这些代码或多或少都有问题。这篇文章会写一个实现,同时标明一些注意点。 场景 为了便于阐述,这里假设一个游戏场景,用户A有开山斧一把,价值500元宝,用户B有800元宝,想买A的开山斧 阅读全文
posted @ 2021-09-27 22:36 ludongguoa 阅读(317) 评论(0) 推荐(0) 编辑
摘要: 续言 前一篇文章从OLTP出发,通过对比引出OLAP,进一步介绍了数仓的基本概念,包括多维数据模型、数据立方体及其典型操作等。本篇再进一步,将介绍OLAP的类型及其代表产品,并分析主流开源OLAP产品的核心技术点。 未看过前一篇文章的读者,欢迎点击链接(温正湖:OLAP数仓入门问答-基础篇)做进一步 阅读全文
posted @ 2021-09-27 22:33 ludongguoa 阅读(211) 评论(0) 推荐(0) 编辑