随笔 - 82  文章 - 0  评论 - 51  阅读 - 16万
  2022年5月30日
Spark记录（四）：Dataset.count()方法源码剖析
摘要： 因最近工作中涉及较多的Spark相关功能，所以趁周末闲来无事，研读一下Dataset的count方法。Spark版本3.2.0 1、方法入口： def count(): Long = withAction("count", groupBy().count().queryExecution) { pl 阅读全文
posted @ 2022-05-30 00:06 淡墨痕 阅读(787) 评论(0) 推荐(0) 编辑
  2022年5月15日
Windows搭建Golang开发环境
摘要： 一、环境准备 电脑： window10 64位 代码编写工具：VSCode 二、安装配置 1、官网下载golang安装包 https://golang.google.cn/learn/ ，并安装好 2、配置环境变量 当前下载的是1.18.2，安装好后默认在环境变量上已经有了GOPATH，是默认的系统 阅读全文
posted @ 2022-05-15 16:32 淡墨痕 阅读(1763) 评论(0) 推荐(0) 编辑
  2021年11月7日
Spark记录（三）：详细拆解Spark代码执行流程
摘要： 在该系列的上一篇文章中，较为详细的描述了Spark程序的生命周期，这一篇我们以一段Spark代码为例，来详细拆解一下Spark程序的执行过程。 一、示例代码： val ss = SparkSession.builder().appName("localhost").master("local[*]" 阅读全文
posted @ 2021-11-07 15:56 淡墨痕 阅读(1542) 评论(0) 推荐(0) 编辑
Spark记录（二）：Spark程序的生命周期
摘要： 本文以Spark执行模式中最常见的集群模式为例，详细的描述一下Spark程序的生命周期（YARN作为集群管理器）。 1、集群节点初始化 集群刚初始化的时候，或者之前的Spark任务完成之后，此时集群中的节点都处于空闲状态，每个服务器（节点）上，只有YARN的进程在运行（环境进程不在此考虑范围内），集 阅读全文
posted @ 2021-11-07 14:29 淡墨痕 阅读(556) 评论(0) 推荐(0) 编辑
  2021年11月6日
Spark记录（一）：Spark全景概述
摘要： 一、Spark是什么 Spark是一个开源的大数据处理引擎。 二、Spark的主要组件如下图所示： 三、Spark运行时架构 Spark共有三种运行模式：本地模式、集群模式、客户端模式。 生产环境基本都是用集群模式。集群模式需要用到集群管理器，三个核心的集群管理器为：Spark自带的独立集群管理器、 阅读全文
posted @ 2021-11-06 23:17 淡墨痕 阅读(210) 评论(0) 推荐(0) 编辑
  2021年2月24日
Java并发之CompletionService详解
摘要： CompletionService是什么？ 它是JUC包中的一个接口类，默认实现类只有一个ExecutorCompletionService。 CompletionService干什么的？ 它将异步任务的生成和执行结果的处理进行了解耦，用来执行Callable的任务（实际也是通过Executor线程 阅读全文
posted @ 2021-02-24 22:41 淡墨痕 阅读(963) 评论(0) 推荐(1) 编辑
  2021年1月25日
傲视Kubernetes(六)：Pod管理及控制器
摘要： 本文主要内容： 1、Kubernetes如何管理Pod？ 2、Kubernetes Control Plane组件有哪几种？作用效果是什么？ 一、Kubernetes如何管理Pod Kubernetes中的Pod根据创建方式的不同，可以分为两种：一种是直接创建的Pod，比如自己写了一个Pod的yam 阅读全文
posted @ 2021-01-25 23:00 淡墨痕 阅读(413) 评论(0) 推荐(0) 编辑
  2021年1月23日
傲视Kubernetes(五)：注解和命名空间
摘要： 本文主要围绕两部分展开： 1. 注解的介绍及使用； 2. 命名空间的介绍及使用。 一、注解 K8S中的对象除了可以用标签来标识/归类外，还可以用加注解（annotations）属性，它属于metadata的子标签，也是键值对的格式。此处的注解和java中的注解完全不一样，非要类比的话，Java中的注 阅读全文
posted @ 2021-01-23 23:39 淡墨痕 阅读(206) 评论(0) 推荐(0) 编辑
  2021年1月10日
微信小程序域名+https的使用
摘要： 前言 有开发过微信小程序的园友们应该都知道，微信小程序生产版本的前端对后端调用时，必须是用https+域名的方式调用（测试版本不受此限制），而且必须用默认端口不能手动指定端口，否则微信会给拦截下来无法调用。前段时间博主走了一遍这样的流程，特此记录下在此过程中遇到的坑，希望后面再有人遇到能躲避过去。 阅读全文
posted @ 2021-01-10 10:11 淡墨痕 阅读(3173) 评论(0) 推荐(0) 编辑
  2020年12月23日
傲视Kubernetes(四)：Pod的创建及标签的使用
摘要： 近期一直在思索天人之道，缺少大块的时间，决定将学习博客改为以小短文为主。本文主要内容： 1、kubernetes中pod的创建 2、pod上标签的使用 一、kubernetes中pod的创建 在实际使用中，Pod通常是伴随着Deployment等controller的创建而创建的，单独创建Pod的场 阅读全文
posted @ 2020-12-23 23:12 淡墨痕 阅读(447) 评论(0) 推荐(0) 编辑
下一页
< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

Powered by: 博客园 Copyright © 2025 淡墨痕
Powered by .NET 9.0 on Kubernetes
点击右上角即可分享
微信分享提示