数据驱动

摘要： 第一节 初识 Flink 在数据激增的时代，催生出了一批计算框架。最早期比较流行的有MapReduce，然后有Spark，直到现在越来越多的公司采用Flink处理。Flink相对前两个框架真正做到了高吞吐，低延迟，高性能。 1. Flink 是什么？ 1) Flink 的发展历史 在 2010 年至 阅读全文

摘要： 在使用flink run命令提交任务可能会遇到如下错误： The program finished with the following exception: org.apache.flink.client.program.ProgramInvocationException: The main m 阅读全文

摘要： 由于Kylin官网已经是中文的了，而且写的很详细，这里就不再重述。 学习右转即可。 这里说个遇到的问题，当在Kylin使用SQL关键字时，要加上双引号，并且里面的内容要大写，这个和MySql有点区别需要注意下。 系列传送门 阅读全文

摘要： 一.Kylin是什么？ Apache Kylin是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 上的SQL查询接口及多维度分析(OLAP）能力以支持超大规模的数据，最初由eBay开发并贡献至开源社区。它能在亚秒内查询巨大的表。 Apache Kylin™ 令使用者仅需三步，即可实 阅读全文

摘要： 一、项目简介 这是一个道路拥堵情况分析预测项目。 它利用Kafka提供数据，Redis存储结果，然后用逻辑回归进行模型训练，最后根据训练的模型预测道路未来是否拥堵。 二、项目结构 ├─.idea │ └─codeStyles ├─data └─src └─main └─scala └─vip └─s 阅读全文

摘要： 前言 随着人工智能的发展，机器学习成为一个热门的学科。机器学习说白了就是利用一些数学知识，通过代码实现分类，聚类，特征提取和回归。这些所谓的实现也叫算法。 大部分算法已经有人帮我们写好了类库，我们只需要调用即可实现。 常用的实现类库有两个：一个是SparkMLlib，一个是Scikit-lean。 阅读全文

摘要： 一.前言 前面我们学习的是使用Scala和Java开发Spark。最近补充了下Python基础，那么就用Python开发下Spark。Python开发Spark简称PySpark。 二.环境准备 1.安装Python环境 安装方式有两种 使用原生方式安装 直接去官网下载，window下载 xxx_e 阅读全文

摘要： 今天小编用Python编写Spark程序报了如下异常： py4j.protocol.Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe.: jav 阅读全文

摘要： 1. 什么是Anaconda？ Anaconda是一个开源的Python发行版本，python是一个编译器，如果不使用Anaconda那么安装起来会比较痛苦，各个库之间的依赖性就很难连接的很好。Anaconda可以看做Python的一个集成安装,里面集成了很多关于python科学计算的第三方库，安装 阅读全文

摘要： 前言 由于AI的发展，包括Python集成了很多计算库，所以淡入了人们的视野，成为一个极力追捧的语言。 首先概括下Python中文含义是蟒蛇，它是一个胶水语言和一个脚本语言，胶水的意思是能和多种语言集成，脚本的意思是没有强制类型，直接解释执行，和PHP类似。 下面是对Python的一些基础语法介绍。 阅读全文