01 2024 档案
摘要：下载 spark 安装包 选择自己Hadoop对应的版本，不然会不兼容 spark下载链接 2.解压 tar -zvxf spark.2.3 3.删除安装包，修改解压后的文件名字 rm -rf 安装包名 mv spark-2.3.4-bin-hadoop2.7 spark 4. 配置文件进入到spa
阅读全文
摘要：有一个惊人的数据，设计期间程序员平均每小时会引入1 ~ 3个缺陷，编码期间平均每小时引入5 ~ 8个缺陷。 有许多同样惊人的数据显示，协同构建可以缩短开发周期，通过代码复查检查错误成本比测试更低，而且可以检查到一些更隐蔽的风格、注释等错误。另外，开发者考虑到需要经过代码复查，编写时便会更加审慎。 这
阅读全文
摘要：我在王建民老师的推荐下，购买了这本书，开始进行了研究和学习。 这本书涵盖了编程的方方面面（连宗教信仰问题都考虑了~），可以看出作者对每一个问题都进行了深入思考。我是带着目的去读这本书的，下面是我认为对我有思考价值的地方。 构建活动是软件开发中的核心活动。 把主要精力集中于构建活动，可以大大提高程序员
阅读全文
摘要：1.1 Spark 为何物 Spark 是当今大数据领域最活跃、最热门、最高效的大数据通用计算平台之一。 Hadoop 之父 Doug Cutting 指出：Use of MapReduce engine for Big Data projects will decline, replaced by
阅读全文
