摘要：
“人生苦短，我用python”。最近了解到一个很好的Spider框架——Scrapy，自己就按着官方文档装了一下，出了些问题，在这里记录一下，免得忘记。 Scrapy的安装是基于Twisted进行安装的，在Python3.8的环境中，并不像是网上许多教程所说的那样需要安装许多的插件，只需要安装好Tw 阅读全文
摘要：
《掌握需求过程》第八章讲述的是编写需求规格说明书，目的是为了讲给我们如何将所有需求安排在需求说明规范中。这也算是对于前面几章的总结概括，因为你前面做的所有事情终究只是准备，还是要落实与文字上的记录。“编写需求规格说明书是指得到要构建的产品的完整描述的任务。把这项任务看做“构建”需求规格说明书是合适的 阅读全文
摘要：
我们知道需求包括功能性需求和非功能性需求，在《掌握需求过程》中，作者也对这部分内容进行了详解，也使我了解到了需求的真正意义。 第六章讲述的是功能性需求。什么是功能性需求？功能性需求就是说有具体的完成内容的需求。作者在这一章中明确提出：要将功能性需求看作是业务需求。那什么又是业务需求？业务需求 表示的 阅读全文
摘要：
上次阅读到第四章，那这次就继续从第四章开始。 第四章主要说的是在业务用例方面的内容，作者在这一方面的讲述也是相对来说比较少的，主要的内容也就是如何确定产品的合适组成部分（使用业务事件作为起始点）以及如何确定要构造的最好产品。在这一章节中，作者从一些基本的工作中进行讲解，他说，我们首先要理解工作，即我 阅读全文
摘要：
今日阅读了《掌握需求过程》这本书，书中从基本事实、需求过程、确定业务问题的范围、业务用例、工作调研、场景、理解真正的问题、开始解决方案、今日业务分析策略，功能需求、非功能需求、验收标准和理由、质量关、需求与迭代开发、复用需求、沟通需求、需求完整性十七个方面对于需求过程进行详细讲解。目前读到第四章，先 阅读全文
摘要：
上篇博客已经说过，会将代码进行优化，并通过TreeMap进行排序实现，现在简单说明一下代码的思路。 项目以上传到github：https://github.com/yandashan/MapReduce_Count2.git 这次的代码是根据课程的id进行排序的，map的流程和普通的WordCoun 阅读全文
摘要：
学了一段时间的hadoop了，一直没有什么正经练手的机会，今天老师给了一个课堂测试来进行练手，正好试一下。 项目已上传至github：https://github.com/yandashan/MapReduce_Count1 Result文件数据说明： Ip：106.39.41.166,（城市） D 阅读全文
摘要：
根据老师要求，根据实验报告所给出的源码进行MongoDB的java操作实现。 参考：MongoDB|菜鸟教程;林子雨大数据研究室； 实验环境： 1、Linux CentOS 6； 2、jdk-1.8.0； 3、mongodb-linux-x86_64-3.4； 4、windows 下eclipse。 阅读全文
摘要：
首先要说明的是，关于老师给的实验要求，我在网上看到了原文，原文地址：https://blog.csdn.net/qq_41035588/article/details/90514824，有兴趣的同学可以去看一下。本篇博客是在此基础上进行的重写。 刚刚按照老师给的实验要求完成了一次关于MapReduc 阅读全文
摘要：
这个学期，我们开始接触大数据，并且开始学习hadoop和hbase。说实话，对于我这个学习能力不是很强的人来说真的是一个挑战，而且虚拟机上的linux系统也是不停的出问题，现在把这些问题总结一下，留个记录。 首先说明一下，我的是在VMware上安装的Contest6.0，版本不同，操作的方法可能不同 阅读全文