04 2021 档案
摘要：1.调度过程 K8S的scheduler的主要作用是将用户申请的pods调度到合适的node节点上。具体的来说，就是它通过监听API server提供的watch等接口，获取到未调度的pods和node的相关信息，通过对node的筛选，选择出最合适的也就是优先级最高的node节点，将其与pods进行
阅读全文
摘要：相信很多小伙伴都遇到过访问不了GitHub问题，一直加载不出来，漫长等待时间后出现无法加载的提示，心情爆炸！今天就彻底解决这个问题。下面的IP地址，小伙伴们一定不要按照我的来，因为这个IP过一段好像会改变，大家按照我给的网址一步步操作就可以了。 一、确定ip进入网址 https://github.c
阅读全文
摘要：RDD持久化级别 | 持久化级别 | 含义解释 | | | | | MEMORY_ONLY | 使用未序列化的Java对象格式，将数据保存在内存中。如果内存不够存放所有的数据，则数据可能就不会进行持久化。那么下次对这个RDD执行算子操作时，那些没有被持久化的数据，需要从源头处重新计算一遍。这是默认的
阅读全文
摘要：之前学习spark，最近需要在k8s集群上提交spark应用，学习过程中，记录了以下几点 1.k8s集群架构 Master Node k8s 集群控制节点，对集群进行调度管理，接受集群外用户去集群操作请求； Master Node 由 API Server、Scheduler、ClusterStat
阅读全文
摘要：docker是创建容器的工具。 docker作用：可以把代码和环境一起打包部署到生产环境中。比如：我们写好的代码迁移到别的地方运行，不需要重新配置环境就能直接运行 docker的三大特征：镜像（Image）、容器（Container）、仓库（Repository） 从上图可以看出 容器是由镜像实例化
阅读全文
摘要：1.Driver和SparkContext 先有的driver，在driver中创建的sparkcontext。 运行应用程序的main函数,启动一个Driver进程。功能如下： 创建spark的sparkcontext上下文 划分RDD并生成有向无环图（DAG） 与spark中的其他组件进行协调，
阅读全文
