大葱拌豆腐 - 博客园

2019年3月25日

摘要：流处理主要有3种应用场景：无状态操作、window操作、状态操作。 reduceByKeyAndWindow countByValueAndWindow countByValueAndWindow的源码如下所示： reduceByWindow reduceByWindow的源码如下所示： count 阅读全文

posted @ 2019-03-25 16:19 大葱拌豆腐阅读(2686) 评论(0) 推荐(0) 编辑

Spark MLlib之使用Breeze操作矩阵向量

摘要：在使用Breeze 库时，需要导入相关包： Breeze创建函数 Breeze元素访问 val a = new DenseVector[Int](Array(10 to 20: _*)) a: breeze.linalg.DenseVector[Int] = DenseVector(10, 11, 阅读全文

posted @ 2019-03-25 15:33 大葱拌豆腐阅读(1632) 评论(0) 推荐(0) 编辑

数据仓库--通用的数据仓库分层方法

摘要： 0x00 概述数据分层是数据仓库设计中十分重要的一个环节，优秀的分层设计能够让整个数据体系更易理解和使用。而目前网络中大部分可以被检索到相关文章只是简单地提及数据分层的设计，或缺少明确而详细的说明，或缺少可落地实施的方案，或缺少具体的示例说明。因此，本文将指出一种通用的数据仓库分层方法，具体包含如阅读全文

posted @ 2019-03-25 11:46 大葱拌豆腐阅读(56532) 评论(11) 推荐(27) 编辑

2019年3月23日

数据仓库--维度建模

摘要： 0x00 前言下面的内容，是笔者在学习和工作中的一些总结，其中概念性的内容大多来自书中，实践性的内容大多来自自己的工作和个人理解。由于资历尚浅，难免会有很多错误，望批评指正！概述数据仓库包含的内容很多，它可以包括架构、建模和方法论。对应到具体工作中的话，它可以包含下面的这些内容：以Hadoo 阅读全文

posted @ 2019-03-23 10:32 大葱拌豆腐阅读(2201) 评论(1) 推荐(1) 编辑

数据仓库--基本概念

摘要： 0x00 前言整理一些数据仓库中的常用概念。大部分概念不是照搬书上的准确定义，会加入很多自己的理解。 0x01 概念数据仓库（Data Warehouse）数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合阅读全文

posted @ 2019-03-23 10:15 大葱拌豆腐阅读(1138) 评论(0) 推荐(0) 编辑

2019年3月22日

Spark代码中设置appName在client模式和cluster模式中不一样问题

摘要：问题 Spark应用名在使用yarn-cluster模式提交时不生效，在使用yarn-client模式提交时生效，如图1所示，第一个应用是使用yarn-client模式提交的，正确显示我们代码里设置的应用名Spark Pi，第二个应用是使用yarn-cluster模式提交的，设置的应用名没有生效。阅读全文

posted @ 2019-03-22 16:54 大葱拌豆腐阅读(2200) 评论(0) 推荐(0) 编辑

数据仓库--数据分层

摘要：一、文章主题本文主要讲解数据仓库的一个重要环节：如何设计数据分层!其它关于数据仓库的内容可参考之前的文章。本文对数据分层的讨论适合下面一些场景，超过该范围场景 or 数据仓库经验丰富的大神就不必浪费时间看了。数据建设刚起步，大部分的数据经过粗暴的数据接入后就直接对接业务。数据建设发展到一定阶阅读全文

posted @ 2019-03-22 13:43 大葱拌豆腐阅读(1084) 评论(0) 推荐(0) 编辑

数据仓库--建模

摘要：数据仓库与数据集市建模前言数据仓库建模包含了几种数据建模技术，除了ER建模和关系建模，还包括专门针对数据仓库的维度建模技术。本文将详细介绍数据仓库维度建模技术，并重点讨论三种基于ER建模/关系建模/维度建模的数据仓库总体建模体系：规范化数据仓库，维度建模数据仓库，以及独立数据集市。维度建模的阅读全文

posted @ 2019-03-22 11:22 大葱拌豆腐阅读(840) 评论(0) 推荐(1) 编辑

数据仓库--概述

摘要：前言阅读本文前，请先回答下面两个问题： 1. 数据库和数据仓库有什么区别？ 2. 某大公司Hadoop Hive里的关系表不完全满足完整/参照性约束，也不完全满足范式要求，甚至第一范式都不满足。这种情况正常吗？如果您不能五秒内给出答案，那么本文应该是对您有帮助的。数据库的"分家" 随着关系数据阅读全文

posted @ 2019-03-22 11:11 大葱拌豆腐阅读(994) 评论(0) 推荐(0) 编辑

2019年2月19日

Scala之隐式转换

摘要：概述简单说，隐式转换就是：当Scala编译器进行类型匹配时，如果找不到合适的候选，那么隐式转化提供了另外一种途径来告诉编译器如何将当前的类型转换成预期类型。隐式转换有四种常见的使用场景：将某一类型转换成预期类型类型增强与扩展模拟新的语法类型类语法隐式转换有新旧两种定义方法，旧的定义方法指是的“ 阅读全文

posted @ 2019-02-19 17:17 大葱拌豆腐阅读(563) 评论(0) 推荐(0) 编辑

公告