摘要:
1.1 概述 1.1.1 为什么学习Scala 1)Spark—新一代内存级大数据计算框架,是大数据的重要内容。 2)Spark就是使用Scala编写的。因此为了更好的学习Spark, 需要掌握Scala这门语言。 3)Spark的兴起,带动Scala语言的发展! 1.1.2 Scala发展历史 联 阅读全文
2021年5月18日 #
摘要:
问题:报命令执行失败错误 解决方案: 第一步:打开Settings... 第二步:找到下图中的maven选项Runner,将Delegate IDE build/run actions to Maven选项的取消打勾,确定即可 第三步:再次运行,发现OK 阅读全文
2021年5月17日 #
摘要:
一、 Redis入门 1. 互联网项目架构演变 随着访问量上升,大部分使用MySQL架构的网站在数据库上都开始出现性能问题,Web程序不能再仅仅专注在功能上,同时也在追求性能。开始使用缓存技术缓解数据库压力,优化数据库的结构和索引。刚开始时比较流行的是通过文件缓存来缓解数据库压力,但是当访问量继续增 阅读全文
2021年5月15日 #
摘要:
第1章 HBase简介 1.1 HBase定义 HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。 1.2 HBase数据模型 逻辑上,HBase的数据模型同关系型数据库很类似,数据存储在一张表中,有行有列。但从HBase的底层物理存储结构(K-V)来看,HBase更像是一个mul 阅读全文
2021年5月14日 #
摘要:
问题:打包Maven项目的时候出现如下代码错误 Failure to find org.glassfish:javax.el:pom:3.0.1-b06-SNAPSHOT in https://repository.apache.org/snapshots was cached in the loc 阅读全文
2021年5月12日 #
摘要:
问题:查询数据时给字段起别名,运行MR程序后出现中文乱码 //查询"01"课程比"02"课程成绩低的学生的信息及课程分数: select a1.*,s.c_id `01课程`,s.s_score `01课程成绩`,s2.c_id `02课程`,s2.s_score `02课程成绩` from stu 阅读全文
2021年5月11日 #
摘要:
第1章 电商业务简介 1.1 电商业务流程 电商的业务流程可以以一个普通用户的浏览足迹为例进行说明,用户点开电商首页开始浏览,可能会通过分类查询也可能通过全文搜索寻找自己中意的商品,这些商品无疑都是存储在后台的管理系统中的。 当用户寻找到自己中意的商品,可能会想要购买,将商品添加到购物车后发现需要登 阅读全文
摘要:
第1章 数据仓库概念 数据仓库(Data Warehouse)是为企业所有决策制定过程,提供所有系统数据支持的战略集合。通过对数据仓库中数据的分析,可以帮助企业改进业务流程、控制成本、提高产品质量等。 第2章 项目需求及架构设计 2.1 项目需求分析 1)项目需求 (1)用户行为数据采集平台搭建 ( 阅读全文
2021年5月9日 #
摘要:
解决:直接删除集群机器上的kafka数据存放目录即可(server.log文件) 第一步:查看配置文件找到数据文件存放地址 vim /opt/module/kafka/config/server.properties 第二步:删除该目录(每台Kafka节点启动异常的主机都要操作) rm -rf /o 阅读全文
摘要:
第1章 Hive基本概念 1.1 什么是Hive Hive:由Facebook开源用于解决海量结构化日志的数据统计工具。 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。 本质是:将HQL转化成MapReduce程序 (1)Hive处理的数据 阅读全文