摘要：
第1章 Spark 概述1.1 什么是 Spark1.2 Spark 特点1.3 Spark 的用户和用途第2章 Spark 集群安装2.1 集群角色2.2 机器准备2.3 下载 Spark 安装包2.4 配置 Spark Standalone 模式2.5 配置 Spark History Serv 阅读全文
posted @ 2019-04-21 15:58
黑泽君
阅读(927)
评论(0)
推荐(2)
摘要：
1、将项目软件工具包导入 2、项目思路： 2.1、读取 HDFS 数据进行 ETL 清洗操作，并将最终结果写入到 HBase 中。 2.2、从 HBase 中读取数据，进行新增用户统计分析操作，并将结果写入到 Mysql。 3、细节实现 数据清洗： 3.1、LoggerUtil.java 3.1.1 阅读全文
posted @ 2019-04-20 15:45
黑泽君
阅读(125)
评论(0)
推荐(0)
摘要：
今天，我在修改Eclipse项目的 JRE 环境时，老是报这个错误，很纳闷，到底是由于什么原因，导致的这个问题： 后面发现了，是在这个项目里面的 .classpath 的这个文件有问题，所以对待这个问题的解决的方法就是： 可以新建一个类似的项目，然后把那个项目中的 .classpath 的替换进来， 阅读全文
posted @ 2019-04-20 11:16
黑泽君
阅读(3955)
评论(0)
推荐(0)
摘要：
1. 问题描述 在 Hive1.2.1 版本运行如下 HQL 时： 会抛出如下异常： 2. 问题分析 在 Hive1.2.0 版本开始增加了如下配置选项，默认值为 true。 该选项的目的是：是否启用对 SQL2011 保留关键字的支持。 启用后，将支持部分 SQL2011 保留关键字。 3. 解决 阅读全文
posted @ 2019-04-18 11:37
黑泽君
阅读(3372)
评论(0)
推荐(0)
摘要：
二十、数据分析20.1、统计表20.2、目标20.3、代码实现20.3.1、Mapper20.3.2、Reducer20.3.3、Runner20.3.4、自定义 OutPutFormat20.3.5、测试二十一、Hive 之 hourly 分析21.1、目标21.2、目标解析21.3、创建 Mys 阅读全文
posted @ 2019-04-17 23:02
黑泽君
阅读(99)
评论(0)
推荐(0)
摘要：
十六、数据处理16.1、ETL 操作16.2、HBase 设计16.2.1、每天1张表16.2.2、倒序或在前缀上加数字16.2.3、预分区16.3、MapReduce 分析过程16.4、Hive 分析过程16.5、Mysql 表结构设计16.5.1、常用关系型数据库表模型16.5.2、表结构十七、 阅读全文
posted @ 2019-04-16 20:53
黑泽君
阅读(178)
评论(0)
推荐(0)
摘要：
1、问题描述 最近在做有关大数据的项目中，解码客户端的请求参数时抛出异常： java.lang.IllegalArgumentException: URLDecoder: Incomplete trailing escape (%) pattern 详细错误如下： 截图如下： 我的主要代码如下：（代 阅读全文
posted @ 2019-04-16 19:55
黑泽君
阅读(2427)
评论(0)
推荐(1)
摘要：
对于 Linux 虚拟机，您可以使用命令行工具手动安装或升级 VMware Tools。 本次演示的 Linux 虚拟机为 CentOS6.8。 先决条件 开启虚拟机。 确认客户机操作系统正在运行。 由于 VMware Tools 安装程序是使用 Perl 编写的，因此，请确认在客户机操作系统中安装 阅读全文
posted @ 2019-04-15 21:30
黑泽君
阅读(1111)
评论(0)
推荐(0)
摘要：
十一、Nginx11.1、介绍11.2、常见其他 Web 服务器11.3、版本11.4、Nginx 安装11.5、目录结构11.6、操作命令十二、Mysql12.1、介绍12.2、关系型数据库(SQL)种类12.3、特征12.4、术语12.4、与非关系型数据库比较(Not Only SQL)12.4 阅读全文
posted @ 2019-04-15 18:26
黑泽君
阅读(115)
评论(0)
推荐(0)
摘要：
一、准备工作二、安装过程三、配置环境变量四、Eclipse 开发环境配置 一、准备工作 安装环境：CentOS 6.8 桌面版（其他发行版本安装过程基本一样）所需软件：（下载时选择 Linux 版 tar.gz 格式） 1、Oracle jdk 各个版本下载地址： https://www.oracl 阅读全文
posted @ 2019-04-15 18:23
黑泽君
阅读(881)
评论(0)
推荐(0)
浙公网安备 33010602011771号