05 2023 档案

【博学谷学习记录】超强总结，用心分享 | spark知识点总结2
摘要：【博学谷IT技术支持】 #### Action动作算子 * reduce: 通过func函数聚集RDD中的所有元素，这个功能必须是可交换且可并联的 * collect: 在驱动程序中，以数组的形式返回数据集的所有元素 * count: 返回RDD的元素个数 * first: 返回RDD的第一个元素（ 阅读全文
posted @ 2023-05-31 21:05 牛牛牛牛牛牛牛牛 阅读(16) 评论(0) 推荐(0) 编辑
【博学谷学习记录】超强总结，用心分享 | spark知识点总结1
摘要：【博学谷IT技术支持】 ## Spark基础 ### spark的特点 * 运行速度快 ```js 提供了一个全新的数据结构哦RDD(弹性的分布式数据集) 整个Spark是基于线程来运行的，线程的启动和销毁优于进程 ``` * 易用性 ```js spark 提供了多种操作语言的API，python 阅读全文
posted @ 2023-05-23 10:39 牛牛牛牛牛牛牛牛 阅读(113) 评论(0) 推荐(0) 编辑
【博学谷学习记录】超强总结，用心分享 | 知识点总结2
摘要：【博学谷IT技术支持】 请简述HDFS上传文件的过程 1. 客户端将文件分成固定大小的block(默认128MB) 2. 客户端与NameNode通信，请求上传文件，并获取上传目标节点的信息 3. 客户端将第一个数据块上传到目标节点，并告知NameNode该节点上存储的数据块信息 4. 目标节点将数 阅读全文
posted @ 2023-05-05 22:04 牛牛牛牛牛牛牛牛 阅读(16) 评论(0) 推荐(0) 编辑
【博学谷学习记录】超强总结，用心分享 | 知识点总结1
摘要：【博学谷IT技术支持】 zookeeper 基础 架构是：主从架构 安装虚拟机必须安装jdk 角色：leader, Follower ,Observer zookeeper的特性 全局一致性 顺序性 原子性 实时性 zookeeper的watch机制 zookeeper的选举机制 hadoop 基础 阅读全文
posted @ 2023-05-05 22:02 牛牛牛牛牛牛牛牛 阅读(19) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示