摘要：
下载spark 1、网址：http://spark.apache.org/downloads.html 2、解压 sudo tar -zxf ~/下载/spark-1.6.2-bin-without-hadoop.tgz -C /usr/local/ 3、对解压后的重命名为spark $ cd /u 阅读全文
2020年2月2日
2020年2月1日
摘要：
首先对一些spark的基本知识进行了学习 spark的基本工作原理是：将spark的程序提交到spark集群上，在Hadoop的HDFS或者Hive上读取数据，读取的数据存放在各个spark的节点上，分布式的存放在多个节点上，主要在每个节点的内存上，这样可以加快速度。对节点的数据进行处理，处理后的数 阅读全文
2020年1月2日
摘要：
在软件开发过程中需求分析是第一步，需求分析是一个软件工程师的必备知识，在一个需求分析过程中，主要有项目描述，风险分析，用例图以及描述，项目建议这几部分。开发一个项目前，我们要进行需求分析，来确定系统中需要有什么，确定哪些功能是客户所希望有的，并对这些功能进行完善，来满足更多用户的需要。 在需求分析的 阅读全文
摘要：
通过阅读，我了解了在需求分析的过程中，很重要的一个部分是项目启动，在书上给出的概念是是组织正式开始一个项目或继续项目的下一个阶段，在刚看到这句话时，我并不是特别理解，当时我的理解是，项目启动就是在正式开始一个项目之前，或者在完成项目的一部分之后，要进行下一阶段时所要进行的工作。在阅读完这一部分的内容 阅读全文
2019年12月18日
摘要：
这本书中，讲述了身为一个需求分析师，应完成的几个工作内容。在我们大三上的这个学期里，主要学习的是需求分析。通过学习，改变了我的一些看法，之前一直认为软件工程最重要的就是写代码，通过这个学期的学习，我明白了在软件工程中需求分析是更加重要的。需求，是指在开始进行代码编写前应该进行的东西，如果在代码的编写 阅读全文
摘要：
《大道至简》这本书注重讲一些软件工程问题中的一些思想和一些问题，他虽然不是讲关于代码的内容，开始有关思想的内容更加重要，会让人学到很多，每一个章节都有几个小节，每个小节都有一个生动且丰富的小标题直至中心。第一章引用愚公移山的典故来介绍编程的实质，那就是团队合作。第二章引用李冰开衫的典故来详细介绍懒人 阅读全文
2019年12月5日
摘要：
《大道至简》这本书非常具有启迪意义，这本书中最核心的观点就是“编程=算法+结构+方法”，这让我我终更加透彻地理解软件工程，程序不仅仅是代码，而是算法和结构的结合体。这本书中有一个观点是，人类社会的进步其实可以归功于懒人，因为是懒人造就了方法。例如这本书中的一个故事，愚公移山，愚公虽然勤劳，但是却是在 阅读全文
2019年11月13日
摘要：
写到了数据统计，排序。完成了第二步。 第一步的数据清洗代码为： import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apa 阅读全文
2019年10月30日
摘要：
实验步骤 cd /apps/hadoop/sbin ./start-all.sh cd /apps/hadoop/sbin ./start-all.sh 2.在linux上，创建一个目录/data/mapreduce1。 mkdir -p /data/mapreduce1 mkdir -p /dat 阅读全文
2019年6月22日
