08 2021 档案

大数据Spark Streaming Queries
摘要：目录 1 输出模式2 查询名称3 触发间隔4 检查点位置5 输出终端（Sinks）5.1 文件接收器5.2 Memory Sink... 阅读全文
posted @ 2021-08-29 19:13 赵广陆 阅读(121) 评论(0) 推荐(0) 编辑
大数据Spark Structured Streaming
摘要：目录 1 Spark Streaming 不足2 Structured Streaming 概述2.1 模块介绍2.3 编程模型 ... 阅读全文
posted @ 2021-08-29 18:49 赵广陆 阅读(202) 评论(0) 推荐(0) 编辑
Java8新特性Optional类
摘要：目录 1 Java 8 Optional 类简介1.1 类声明1.2 类方法 2 Optional 实例 1 Java 8... 阅读全文
posted @ 2021-08-28 11:40 赵广陆 阅读(46) 评论(0) 推荐(0) 编辑
大数据Spark Streaming集成Kafka
摘要：目录 1 整合Kafka 0.8.21.1 回顾 Kafka 概念1.2 集成方式1.3 两种方式区别 2 Direct 方式集... 阅读全文
posted @ 2021-08-26 23:35 赵广陆 阅读(59) 评论(0) 推荐(0) 编辑
大数据Spark DStream
摘要：目录 1 DStream 是什么2 DStream Operations2.1 函数概述2.2 转换函数：transform2.3... 阅读全文
posted @ 2021-08-26 23:35 赵广陆 阅读(83) 评论(0) 推荐(0) 编辑
大数据Spark Streaming入门
摘要：目录 1 官方案例运行2 编程实现2.1 StreamingContext2.2 编写代码2.3 Streaming 应用监控 ... 阅读全文
posted @ 2021-08-26 23:34 赵广陆 阅读(68) 评论(0) 推荐(0) 编辑
大数据Spark Streaming概述
摘要：目录 1 Streaming 应用场景2 Lambda 架构3 Streaming 计算模式4 SparkStreaming 计算... 阅读全文
posted @ 2021-08-26 23:34 赵广陆 阅读(20) 评论(0) 推荐(0) 编辑
大数据Spark External DataSource
摘要：目录 1 数据源与格式2 加载/保存数据2.1 Load 加载数据2.1.1 获取SparkSession对象 2.2 Sav... 阅读全文
posted @ 2021-08-25 23:23 赵广陆 阅读(59) 评论(0) 推荐(0) 编辑
大数据Spark分布式SQL引擎
摘要：目录 1 Spark SQL CLI2 ThriftServer JDBC/ODBC Server2.1 beeline 客户端2... 阅读全文
posted @ 2021-08-25 23:22 赵广陆 阅读(90) 评论(0) 推荐(0) 编辑
大数据Spark SQL快速入门
摘要：目录 1 SparkSession 应用入口2 词频统计WordCount2.1 基于DSL编程2.2 基于SQL编程 3 数据... 阅读全文
posted @ 2021-08-25 23:22 赵广陆 阅读(155) 评论(0) 推荐(0) 编辑
大数据Spark Dataset
摘要：目录 1 Dataset 是什么2 对比DataFrame3 RDD、DF与DS转换4 面试题：如何理解RDD、DataFrame... 阅读全文
posted @ 2021-08-24 21:03 赵广陆 阅读(220) 评论(0) 推荐(0) 编辑
大数据Spark电影评分数据分析
摘要：目录 1 数据 ETL2 使用 SQL 分析3 使用 DSL 分析4 保存结果数据5 案例完整代码6 Shuffle 分区数目问题... 阅读全文
posted @ 2021-08-24 21:03 赵广陆 阅读(895) 评论(0) 推荐(0) 编辑
大数据Spark DataFrame
摘要：目录 1 DataFrame是什么2 Schema 信息3 Row4 RDD转换DataFrame4.1 反射类型推断4.2 自定... 阅读全文
posted @ 2021-08-24 20:37 赵广陆 阅读(84) 评论(0) 推荐(0) 编辑
大数据Spark RDD持久化和Checkpoint
摘要：目录 1 缓存函数2 缓存级别3 释放缓存4 何时缓存数据5 RDD Checkpoint 1 缓存函数 在实际开发中某些RDD... 阅读全文
posted @ 2021-08-24 20:37 赵广陆 阅读(80) 评论(0) 推荐(0) 编辑
大数据Spark对SogouQ日志分析
摘要：目录 1 业务需求2 准备工作2.1 HanLP 中文分词2.2 样例类 SogouRecord 3 业务实现3.1 读取数据3... 阅读全文
posted @ 2021-08-23 22:07 赵广陆 阅读(186) 评论(0) 推荐(0) 编辑
大数据Spark RDD 函数
摘要：目录 1 函数分类2 Transformation函数3 Action函数4 重要函数4.1 基本函数4.2 分区操作函数4.3 ... 阅读全文
posted @ 2021-08-23 21:20 赵广陆 阅读(75) 评论(0) 推荐(0) 编辑
大数据Spark RDD介绍
摘要：目录 1 RDD 定义2 RDD 特性3 WordCount中RDD4 RDD 创建4.1 并行化集合4.2 外部存储系统4.3 ... 阅读全文
posted @ 2021-08-21 00:02 赵广陆 阅读(27) 评论(0) 推荐(0) 编辑
Java正则表达式校验实例
摘要：目录 1 通过正则表达式制作短信模板1.1 java 替换 ${xxx} 的内容1.2 java正则表达式appendReplac... 阅读全文
posted @ 2021-08-18 21:36 赵广陆 阅读(189) 评论(0) 推荐(0) 编辑
SpringData JPA多表关联操作
摘要：目录 1 关联映射操作1.1 多表之间的关系和操作多表的操作步骤1.1.1 @OneToMany:1.1.2 @ManyToOne... 阅读全文
posted @ 2021-08-14 15:02 赵广陆 阅读(165) 评论(0) 推荐(0) 编辑
MySql为什么要用where 1=1和where 1＜＞1
摘要：1. where 1=1和where 1 1 看了一个比较老的项目突然发现个好玩的东西where 1=1,还有where 11... 阅读全文
posted @ 2021-08-12 22:47 赵广陆 阅读(439) 评论(0) 推荐(0) 编辑
java代码混淆工具Allatori
摘要：目录 1 从官网下载allatori文件2 Eclipse 下进行代码混淆2.1 config.xml 详解 3 单个jar文件... 阅读全文
posted @ 2021-08-07 14:20 赵广陆 阅读(803) 评论(0) 推荐(0) 编辑
Zeppelin可视化数据分析
摘要：目录 1 Zeppelin1.1. 安装1.2. Zeppelin的作用1.3. Zeppelin 入门使用 2. 房价预测详细... 阅读全文
posted @ 2021-08-07 14:20 赵广陆 阅读(61) 评论(0) 推荐(0) 编辑
大数据Spark机器学习
摘要：目录 1 冒泡排序2 机器学习3 什么是机器学习 1 冒泡排序 按照一定得顺序执行某一些操作, 最终实现某些功能演绎法 func... 阅读全文
posted @ 2021-08-03 21:57 赵广陆 阅读(10) 评论(0) 推荐(0) 编辑
Java实现判断休息日和节假日
摘要：1 需求 周末和节假日推送消息,或者不打扰某些人,定时任务过滤掉某些节假日休息日.最笨的方案就是都把节日提前存储好几个月的,然后... 阅读全文
posted @ 2021-08-03 21:57 赵广陆 阅读(633) 评论(0) 推荐(0) 编辑
springboot集成MinIo文件服务器
摘要：目录 1.添加依赖2. 集成springboot 并提供工具类4. 配置信息5. crud 示例6.MinIO dashboard... 阅读全文
posted @ 2021-08-03 21:57 赵广陆 阅读(509) 评论(0) 推荐(0) 编辑
MinIo文件服务器优势
摘要：1.简介 目前可用于文件存储的网络服务选择有很多，比如阿里云OSS、七牛云、腾讯云等等，但是收费都有点小贵。为了帮公司节约成本，之前... 阅读全文
posted @ 2021-08-03 21:56 赵广陆 阅读(872) 评论(0) 推荐(0) 编辑
Docker搭建minio文件服务器
摘要：一、获取镜像 docker pull minio/minio 二、构建容器 docker run -p 9000:9000 --na... 阅读全文
posted @ 2021-08-03 21:56 赵广陆 阅读(74) 评论(0) 推荐(0) 编辑