01 2024 档案
摘要:今天我报名了教资,然后对本地的进行了anaconda的配置。 我用的23年的pycharm还遇到了一些问题。
阅读全文
摘要:大数据第36期打卡-Day9-p102-p106学习笔记Spark并行度spark的并行:在同一时间内,有多少个tes k在同时运行并行度:并行能力的设置比如设置并行度6,其实是6个tast才并行在跑在有了6个tast并行的前提下,rdd的分区被规划成6个分区Driver的两个组件DAG调度器工作内
阅读全文
摘要:今天学习了spark, 环境介绍: 系统:centos7 python:python2.7.5 java:java1.8.0 hadoop:hadoop2.7 spark:spark3.0 参考文档:http://spark.apache.org/docs/latest/quick-start.ht
阅读全文
摘要:这本书主要讲述关于开发项目的问题,讨论的主题是问题陈述或需求集合,需求在很多方面都是非常重要的。我们通常使用的是需求映射图而不是需求本身,所以我们需要探索许需求。 一旦在探索需求过程中使用了忽略了人的因素的工具,就不可能完美的描述需求,这会造成含混性,同时当需求被明确说明,但是使用了含混的词语也导致
阅读全文