04 2020 档案
摘要:实时数据分析门槛较高,我们如何用极少的开发工作就完成实时数据平台的搭建,做出炫酷的图表呢? 如何快速的搭建实时数据分析平台,首先我们需要实时数据的接入端,我们选择高扩展性、容错性、速度极快的消息系统Kafka,而实时数据仓库,由于 Druid提供了非常方便快捷配置方式,如果不想编写负责的Flink和
阅读全文
摘要:Apache Druid本质就是一个分布式支持实时数据分析的数据存储系统。 能够快速的实现查询与数据分析,高可用,高扩展能力。 距离上一次更新刚过了二十多天,距离0.17版本刚过了三个多月,Druid再次迎来重大更新,Druid也越来越强大了。 Apache Druid 0.18.0 本次更新了 4
阅读全文
摘要:1.设置用户环境变量vi .bash_profile 或者是 vi ~/.bashrc 2.JAVA_HOME=/home/sgmm/jdk1.6.0_13 CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib PATH=$PATH:$JAVA_HOME/bin:$
阅读全文
摘要:本课程源码共享于 https://github.com/tree1123/learning-scala 首先,打开IDEA编辑器的SbtExampleProject项目,我们将在这个项目下进行练习 本节的练习内容位于 com.tree1123.Base 中 新建一个main函数 一 、声明值和变量
阅读全文
摘要:近日Kafka发布了最新版本 2.5.0,增加了很多新功能: 下载地址:https://kafka.apache.org/downloads#2.5.0 对TLS 1.3的支持(默认为1.2) 引入用于 Kafka Streams 的 Co-groups 用于 Kafka Consumer 的增量
阅读全文
摘要:GitHub CEO Nat Friedman 宣布已面向全体 GitHub 用户和团队提供不限制协作人数的私有仓库,并宣称 GitHub 的全部核心功能现已对所有人免费提供。 公告称: 到目前为止,如果您的组织要使用GitHub进行私有开发,则必须订阅我们的付费计划之一。但是地球上的每个开发人员都
阅读全文
摘要:作为全球新冠疫情数据的实时统计的权威,约翰斯—霍普金斯大学的实时数据一直是大家实时关注的,也是各大媒体的主要数据来源。在今天早上的相当一段长的时间,霍普金斯大学的全球疫情分布大屏中显示,全球确诊人数已经突破200万。 有图有真相 随后相关媒体也进行了转发,不过这个数据明显波动太大,随后该网站也修改了
阅读全文
摘要:Scala下载地址:https://www.scala-lang.org/download/ 一、安装JDK 首先,因为Scala是运行在JVM平台上的,所以安装Scala之前要安装JDK 二、二进制安装方式 我们可以直接用二进制安装Scala 还是下载网址 Windows安装Scala编译器 访问
阅读全文
摘要:为什么是Scala 虽然在大数据领域Java的使用更普及,Python也有后来居上的势头,但Scala一直有着不可动摇的地位。我们熟悉的Spark,Kafka,Flink都是由Scala完成了其核心代码的开发。 所以掌握Scala不仅可以学习大数据组件的源码,而且会极大的提升大数据开发的效率。 这也
阅读全文
摘要:1、下载对应版本的Anaconda (wget+路径) 下载地址:https://repo.anaconda.com/archive/ 或者清华镜像:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 2、安装anaconda: bash A
阅读全文
摘要:霍普金斯大学的全球疫情分布图 根据约翰斯·霍普金斯大学的最新数据显示,截止北京时间4月5号9时,全球累计报告确诊病例已达 134万+,死亡74000+ 。 在霍普金斯大学的全球疫情分布图中,非常直观的呈现了全球疫情的分布情况,数据也非常的实时准确。最近一段时间约翰斯·霍普金斯大学发布的数据也经常出现
阅读全文
摘要:前三并没有什么悬念,依然是Java,C,Python。C与Java的差距正在缩小,不过我们不用担心,在大数据分析领域Java,Python依然都是不可或缺的。 基于图形的基于块的编程语言Scratch已进入前20名。乍一看,对于旨在教孩子如何编程的编程语言来说,这似乎有些奇怪。但是,如果考虑到Scr
阅读全文