09 2018 档案
摘要：谈数据质量管理，我们首先要绕开类似BI或MDM系统，首先看下对标准的数据质量管理的一下阐述。 数据质量管理（Data Quality Management），是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动
阅读全文
摘要：一、 跨行业数据合作背景 国务院副总理马凯，曾经在2015贵阳国际大数据产业博览会中提到： 融合是大数据的价值所在，应大力推动大数据与产业融合，面向工业、交通、物流、商贸、金融、电信、能源等数据量大的行业领域，开展数据开发和交易，充分挖掘大数据的商业价值，促进产业提质增效升级。 另外，《大数据时代》
阅读全文
摘要：原文地址：https://www.cnblogs.com/ballwql/p/hbase_data_transfer.html 一、前言 HBase数据迁移是很常见的操作，目前业界主要的迁移方式主要分为以下几类： 从上面图中可看出，目前的方案主要有四类，Hadoop层有一类，HBase层有三类。下面
阅读全文
摘要：数据质量分析的主要任务是检查原始数据中是否存在脏数据，脏数据一般指的是不符合要求，以及不能直接进行相应分析的数据。数据的质量分析侧重于脏数据的发现，而数据清洗则是对这些脏数据的修正或者丢弃。一般情况下，数据的质量分析与数据清洗是相伴而行的，在分析出脏数据的时候伴随着数据的清洗。 常见的脏数据包括如下
阅读全文
摘要：本篇博客主要讲述如何利用spark的mliib构建机器学习模型并预测新的数据，具体的流程如下图所示： 加载数据 对于数据的加载或保存，mllib提供了MLUtils包，其作用是Helper methods to load,save and pre-process data used in MLLib
阅读全文
摘要：一、DataFrame：有列名的RDD 首先，我们知道SparkSQL的目的是用sql语句去操作RDD，和Hive类似。SparkSQL的核心结构是DataFrame，如果我们知道RDD里面的字段，也知道里面的数据类型，就好比关系型数据库里面的一张表。那么我们就可以写SQL，所以其实这儿我们是不能用
阅读全文
摘要：一、前述 1、SparkSQL介绍 Hive是Shark的前身，Shark是SparkSQL的前身,SparkSQL产生的根本原因是其完全脱离了Hive的限制。 SparkSQL支持查询原生的RDD。 RDD是Spark平台的核心概念，是Spark能够高效的处理大数据的各种场景的基础。 能够在Sca
阅读全文
摘要：There are 2 missing blocks. The following files may be corrupted： 步骤1，检查文件缺失情况 可以看到， blk_1074785806 /var/log/yarn_hislog/yarn/apps/root/logs/applicati
阅读全文
