01 2021 档案
摘要:Spark多语言开发 学习目标 1.掌握使用Java语言开发Spark程序 2.了解线性回归算法案例 3.了解使用Python语言开发Spark程序 4.了解决策树分类算法案例 1. JavaSpark 1.1 编程语言说明 Spark 在诞生之初就提供了多种编程语言接口:Scala、Java、Py
阅读全文
摘要:SparkStreaming案例 案例1-WordCount yum install -y nc https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/streami
阅读全文
摘要:Spark 环境搭建 学习目标 1.了解Spark发展史 2.完成Spark环境搭建 3.掌握Spark入门案例-WordCount 4.完成将Spark任务提交到Yarn 1. 课程说明 1.1 课程安排 整个Spark 框架课程分为如下9个部分,如下图所示: 第1章:Spark环境搭建 第2章:
阅读全文
摘要:1. Bloom Filter 【Bloom Filter】Bloom Filter(BF)是一种空间效率很高的随机数据结构,它利用位数组很简洁地表示一个集合,并能判断一个元素是否属于这个集合。它是一个判断元素是否存在集合的快速的概率算法。Bloom Filter有可能会出现错误判断,但不会漏掉判断
阅读全文