随笔分类 - 大数据
摘要：### 下载 [下载地址](https://www.elastic.co/cn/downloads/past-releases#filebeat)，这里我们使用7.4.2版本。 ### 配置控制台输出 FileBeat就是一个采集工具，使用起来很简单，只需要指定input和output，也就是指定输
阅读全文
摘要：下面我们就从第一个模块，数据采集模块开始。 注意：在实际工作中，数据采集模块不是只针对某一个项目而言的，而是一个公共的采集平台，所有项目依赖的数据全部是来源于数据采集模块，所以在设计采集模块的时候要考虑通用性。 ### 数据采集架构详细分析 在具体开始之前，我们还要再分析一些内容 我们前面在分析整体
阅读全文
摘要：针对这个项目中用到的技术组件，只有filebeat和neo4j我们没有使用过 不过filebeat比较简单，类似于flume，在使用的时候主要是写配置文件，所以在后面用到的时候我们再具体分析。 下面我们来学习一下neo4j的使用，快速了解它并掌握它的常见用法。 ### Neo4j介绍 Neo4j是一
阅读全文
摘要：### 项目效果 在直播平台中，用户在主播页面关注该主播时，粉丝状态栏下方插入三度关系推荐模块，显示该主播的粉丝同时又关注了哪些主播，按照推荐重合度且满足一定的筛选条件进行择优展示，这样推荐的主播才是用户最可能会喜欢的。 这样可以帮助用户发现更多他喜欢的主播，促进用户活跃，进而挖掘用户消费潜力。 #
阅读全文
摘要：### Window(窗口) Flink 认为 批处理 是 流处理 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而Window就是从 流处理 到 批处理 的一个桥梁。 通常来讲，Window是一种可以把无界数据切割为有界数据块的手段 例如，对流中的所有元素进行计
阅读全文
摘要：### Table API & SQL 注意：Table API 和 SQL 现在还处于活跃开发阶段，还没有完全实现Flink中所有的特性。不是所有的 [Table API，SQL] 和 [流，批] 的组合都是支持的。 Table API和SQL的由来： Flink针对标准的流处理和批处理提供了两种
阅读全文
摘要：### DataSet API DataSet API主要可以分为3块来分析：DataSource、Transformation、Sink。 DataSource是程序的数据源输入。 Transformation是具体的操作，它对一个或多个输入数据源进行计算处理，例如map、flatMap、filt
阅读全文
摘要： Flink中提供了4种不同层次的API，每种API在简洁和易表达之间有自己的权衡，适用于不同的场景。目前
阅读全文
摘要：### Flink集群安装部署 Flink支持多种安装部署方式 - Standalone - ON YARN - Mesos、Kubernetes、AWS… 这些安装方式我们主要讲一下standalone和on yarn。 如果是一个独立环境的话，可能会用到standalone集群模式。 在生产环境
阅读全文
摘要：### 什么是Flink Apache Flink 是一个开源的分布式，高性能，高可用，准确的流处理框架。 分布式：表示flink程序可以运行在很多台机器上， 高性能：表示Flink处理性能比较高 高可用：表示flink支持程序的自动重启机制。 准确的：表示flink可以保证处理数据的准确性。 Fl
阅读全文
摘要：针对数据仓库中的任务脚本我们前面已经整理过了，任务脚本还是比较多的，针对初始化表的脚本只需要执行一次即可，其它的脚本需要每天都执行一次，这个时候就需要涉及到任务定时调度了。 ### Crontab调度器的使用 我们前面在学习Linux的时候学过一个crontab调度器，通过它可以实现定时执行指定的脚
阅读全文
摘要：### 前言 数据可视化这块不是项目的重点，不过为了让大家能有一个更加直观的感受，我们可以选择一些现成的数据可视化工具实现。 我们前面分析过，想要查询hive中的数据可以使用hue，不过hue无法自动生成图表。 所以我们可以考虑使用Zeppelin，Zeppelin是一个Apache的孵化项目.一个
阅读全文
摘要：### 什么是拉链表 针对订单表、订单商品表，流水表，这些表中的数据是比较多的，如果使用全量的方式，会造成大量的数据冗余，浪费磁盘空间。 所以这种表，一般使用增量的方式，每日采集新增的数据。 在这注意一点：针对订单表，如果单纯的按照订单产生时间增量采集数据，是有问题的，因为用户可能今天下单，明天才支
阅读全文
摘要：### ods 层 在 ods_mall 中需要创建以下针对商品订单数据的表 ```txt 表名 说明 导入方式 ods_user 用户信息表 全量 ods_user_extend 用户扩展表 全量 ods_user_addr 用户收货地址表 全量 ods_goods_info 商品信息表 全量 o
阅读全文
摘要：数据仓库分为 4层：ods层、dwd层、dws层、app层， 我们先来构建第一层：ods层 ### ods 层 在 ods_mall中需要创建以下针对用户行为数据的表 ```txt 表名 解释 ods_user_active 用户主动活跃表(act=1) ods_click_good 点击商品表(a
阅读全文
摘要：### Sqoop下载及安装 Sqoop目前有两大版本，Sqoop1和Sqoop2，这两个版本都是一直在维护者的，所以使用哪个版本都可以。 这两个版本我都用过，还是感觉Sqoop1用起来比较方便，使用Sqoop1的时候可以将具体的命令全部都写到脚本中，这样看起来是比较清晰的，但是有一个弊端，就是在操
阅读全文
摘要：### 数据生成 我们需要先生成测试数据，一份是服务端数据，还有一份是客户端数据 ### 【客户端数据】用户行为数据 首先我们模拟生成用户行为数据，也就是客户端数据，主要包含用户打开APP、点击、浏览等行为数据 用户行为数据：通过埋点上报，后端日志服务器(http)负责接收数据 埋点上报数据基本格式
阅读全文
摘要：### 项目效果展示  本身我们这个数据仓库项目其实是一个纯后台项目，不过为了让大家能够更加直观的感受项目
阅读全文
摘要：### 命令行集成Hive 将hive中的`hive-site.xml`配置文件拷贝到spark配置文件目录下，仅需要以下内容 ```xml hive.metastore.warehouse.dir /user/hive/warehouse javax.jdo.option.ConnectionUR
阅读全文
摘要：### 3.0.0主要的新特性： 1. 在TPC-DS基准测试中，通过启用自适应查询执行、动态分区裁剪等其他优化措施，相比于Spark 2.4，性能提升了2倍 2. 兼容ANSI SQL 3. 对pandas API的重大改进，包括python类型hints及其他的pandas UDFs 4. 简化
阅读全文