12 2021 档案

go mod使用
摘要:概述 基本功能: 依赖管理 : 管理所需依赖 依赖包版本控制 : 每个依赖都可以定义 version 对应的包管理平台 : 进行包的下载 可以私有化部署 : 包管理工具可以私有化部署 代码包是否可以复用 : 包管理工具必须可以复用 构建,测试,打包 : 类似于 go build go test go 阅读全文

posted @ 2021-12-28 21:13 踏雪扬尘-wx 阅读(271) 评论(0) 推荐(0) 编辑

GO语言基本知识
摘要:关键易错知识点总结 Stacking defers 最后进去的先出去执行 , defer 在函数返回的时候调用; 并且 defer中的函数所属的变量是初始化的时候就绑定的 slice 2种区别: make([]int, 5 (长度), 5(容量)) 相当于初始化如下效果 [0,0,0,0,0] ma 阅读全文

posted @ 2021-12-27 08:45 踏雪扬尘-wx 阅读(65) 评论(0) 推荐(0) 编辑

flink state专项练习
摘要:简介 flink state 毫不夸张的讲是 flink最核心的功能,个人理解是比 spark强大百倍的最关键实现,既然如此核心,所以接下来就进行专项练习以求彻底搞懂并且学习。 案例执行 测试代码 public class TestKeyedStateMain { public static voi 阅读全文

posted @ 2021-12-19 22:24 踏雪扬尘-wx 阅读(107) 评论(0) 推荐(0) 编辑

flink知识分享
摘要:简介 Apache Flink® — Stateful Computations over Data Streams 有状态的流是其最大的特性, 可以使用 stage 进行各种状态的保存。 flink 架构图 flink 核心概念 有状态 分布式 并行度 flink 分布式运行环境: TaskMan 阅读全文

posted @ 2021-12-19 19:52 踏雪扬尘-wx 阅读(262) 评论(0) 推荐(0) 编辑

sparkSQL
摘要:概述 Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 Spark SQL的特点 容易整合(集成) 统一的数据访问方式 兼容Hive 标准的数据连接 基本概念:Datasets和DataFrames DataF 阅读全文

posted @ 2021-12-15 14:42 踏雪扬尘-wx 阅读(297) 评论(0) 推荐(0) 编辑

spark-core资源调优
摘要:Spark作业基本运行原理 1、Driver进程会将我们编写的Spark作业代码分拆为多个stage,每个stage执行一部分代码片段,并为每个stage创建一批task,然后将这些task分配到各个Executor进程中执行。 Executor 内存使用分为三块 1、让task执行我们自己编写的代 阅读全文

posted @ 2021-12-15 12:03 踏雪扬尘-wx 阅读(207) 评论(0) 推荐(0) 编辑

spark开发调优
摘要:开发调优原则 避免创建重复的RDD 对于同一份数据,只应该创建一个 RDD,不能创建多个 RDD 来代表同一份数据。否则 我们的 Spark 作业会进行多次重复计算来创建多个代表相同数据 的 RDD,进而增加了作业的性能开销。 // 需要对名为“hello.txt”的HDFS文件进行一次map操作, 阅读全文

posted @ 2021-12-14 17:20 踏雪扬尘-wx 阅读(203) 评论(0) 推荐(0) 编辑

spark-core 学习
摘要:Spark 比 MR 好在那? ()Hadoop的MapReduce计算模型存在的问题: MapReduce的核心是Shuffle(洗牌)。在整个Shuffle的 过程中,至少会产生6次的I/O。 中间结果输出:基于MapReduce的计算引擎通常会将中间结果输出到磁盘上,进行存储和容错。另 外,当 阅读全文

posted @ 2021-12-14 15:27 踏雪扬尘-wx 阅读(53) 评论(0) 推荐(0) 编辑

hive学习
摘要:Hive 简介 Hive 由 Facebook 实现并开源,是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据 映射 为一张数据库表,并提供 HQL(Hive SQL)查询功能,底层数据是存储在 HDFS 上。Hive 的本质是将 SQL 语句转换为 MapReduce 任务运行,使不熟悉 阅读全文

posted @ 2021-12-12 20:31 踏雪扬尘-wx 阅读(263) 评论(0) 推荐(0) 编辑

业务服务经常假死故障排查
摘要:概述 最近遇到线上故障,具体的情况就是后端服务请求一直 pending,服务经常假死重启。 但是观察 整个进程CPU + 内存消耗不是特别大, 没有明显的资源泄漏情况。 故障回溯 top -p 40872 查看进程情况,发现没有明显的 内存和 CPU使用率过高 top -Hp 40872 查看进程下 阅读全文

posted @ 2021-12-09 20:05 踏雪扬尘-wx 阅读(1528) 评论(0) 推荐(1) 编辑

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

统计

点击右上角即可分享
微信分享提示