摘要：
一、项目简介 这是一个车辆监控项目。主要实现了三个功能： 1.计算每一个区域车流量最多的前3条道路。 2.计算道路转换率 3.实时统计道路拥堵情况（当前时间，卡口编号，车辆总数，速度总数，平均速度） 二、项目结构 ├─TrafficBySparkAndKafka ├─data └─src ├─mai 阅读全文
摘要：
通过继承AccumulatorV2可以实现自定义累加器。 官方案例可参考:http://spark.apache.org/docs/latest/rdd-programming-guide.html#accumulators 下面是我自己写的一个统计卡种数量的案例。 package com.shua 阅读全文
摘要：
一. Spark简介 1.1 前言 Apache Spark是一个基于内存的计算框架，它是Scala语言开发的，而且提供了一站式解决方案，提供了包括内存计算（Spark Core）,流式计算（Spark Streaming）,交互式查询（Spark SQL），图形计算（GraphX），机器学习（ML 阅读全文
摘要：
前言 上一章介绍了Kafka是什么，这章就讲讲怎么搭建以及如何使用。 快速开始 Step 1:Download the code Download the 2.4.1 release and un-tar it. > tar -xzf kafka_2.12-2.4.1.tgz > cd kafka_ 阅读全文
摘要：
今天运行Idea，好端端的项目居然报了这个莫名其妙的错误Build completed with 1 error and 0 warnings in 20 ms。 首先排查下代码是否有问题，然后我就建立了一个新的类，print了一个hello，然后还是提示同样错误，可以看出是环境出了问题。 然后试了 阅读全文
摘要：
参照官网执行如下代码的时候，报了Cannot resolve symbol window错误。 val windowedCounts = words.groupBy( window($"timestamp", "10 minutes", "5 minutes"), $"word" ).count() 阅读全文
摘要：
前言 今天运行Spark Structured Streaming官网的如下 报了 截图如下： 解决方案 是spark examples_2.11 2.4.5.jar里面内容不全导致的，去 "官网" 下载spark安装包，并将服务器上的 examples\jars 下面的spark examples 阅读全文
摘要：
作者：Jules S. Damji 译者：足下 本文翻译自 A Tale of Three Apache Spark APIs: RDDs, DataFrames, and Datasets ，翻译已获得原作者 Jules S. Damji 的授权。 最令开发者们高兴的事莫过于有一组 API，可以大 阅读全文
摘要：
Scala是什么？ Scala是一种基于函数式编程和面向对象的高级语言。它开发了Spark等大型应用。它和Java有效集成，底层也是支持JVM的。 它有六大特性： 无缝JAVA互操作 Scala在JVM上运行，因此Java和Scala堆栈可以自由混合以实现完全无缝的集成。 类型推断 根据变量自动推断 阅读全文
摘要：
Redis是什么？ 官方介绍： Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，如 字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets） 与范 阅读全文