花伤错零

摘要： 第九天 Spark内核调度（重点理解） DAG DAG的宽窄依赖和阶段划分 内存迭代计算 Spark并行度 Spark任务调度 DAG调度器 Task调度器 拓展-Spark概念名称大全 阅读全文

摘要： 第八天。 共享变量 广播变量 累加器 广播变量累加器综合案例 # coding:utf8 import time from pyspark import SparkConf, SparkContext from pyspark.storagelevel import StorageLevel imp 阅读全文

摘要： 第七天。 Spark案例练习 搜索引擎日志分析案例 提交到集群运行 阅读全文

摘要： 第六天。 RDD的持久化 RDD的数据是过程数据 RDD缓存 # coding:utf8 import time from pyspark import SparkConf, SparkContext from pyspark.storagelevel import StorageLevel if 阅读全文

摘要： 第五天 对于算子部分总结在了昨天，今天不在进行复述。 继续上部分内容 RDD算子 分区操作算子 转换算子-mapPartitions # coding:utf8 from pyspark import SparkConf, SparkContext if __name__ == '__main__' 阅读全文

摘要： 第四天。 RDD算子 算子：分布式集合对象上的API称之为算子。 方法\函数：本地对象的API，叫做方法\函数 算子：分布式对象的API，叫做算子。 算子分类 Transformation：转换算子 定义：RDD的算子，返回值仍然师一个RDD的。 特性：lazy懒加载，如果没有action算子，Tr 阅读全文

摘要： 寒假记录第三天 今天正式开始学习spark 原来对于spark有一定的基础了解学习 今天开始学习SparkCore。 RDD定义 RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，代表一个不可变、可分区、里面的元素可并行计算的集 阅读全文

摘要： # Spark Local环境部署 ## 下载地址 https://dlcdn.apache.org/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz ## 条件 - PYTHON 推荐3.8 - JDK 1.8 ## Anaconda On Linux 阅读全文

摘要： 今天完成了对题目的审查 【A21】基于区块链的碳核算和碳交易系统【云象网络】 发布时间： 2023-12-27 14:36:53 1.命题方向 企业服务+智能计算 2.题目类别 应用类 3.题目名称 基于区块链的碳核算和碳交易系统 4.背景说明 【整体背景】 2020年中国作出碳达峰碳中和重大承诺， 阅读全文

摘要： 第十一章：《对象思考》本章深入探讨了面向对象编程的概念和技术。作者介绍了类的设计、继承、多态等概念，并提供了一些实用的面向对象设计原则，帮助读者更好地理解和应用面向对象编程的思想。 第十二章：《自定义数据类型》在这一章中，作者讨论了如何定义和使用自定义数据类型，包括结构体、枚举、类等。通过合理使用自 阅读全文