大三寒假学习 18级实训群视频1

　　新的一年开始新的学习，寒假老师布置了很多作业，包括每日总结的发布，spark基础实验报告，完成钉钉群的两个项目。今天主要观看了钉钉群的课程回访，第一个视频主要介绍了大数据实验平台的功能和使用，但是学校的实验平台只有大四的才能使用，与我们没关系，所以只是大致浏览的一遍，主要看了第二个视频，项目理论。

　　首先老师提了一下CM框架，从来没听说过，先了解一下，将来学习。Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。

　　老师从企业开始，讲了企业开发常用的hadoop三大发行版本，这里简单介绍一下。Hadoop三大发行版本：Apache、Cloudera、Hortonworks。Apache版本最原始（最基础）的版本，对于入门学习最好。Cloudera在大型互联网企业中用的较多。Hortonworks文档较好。

　　老师大致解说了公司总项目的开发流程。老师举了自己的亲身例子，他们10个人开发离线分析平台花了九个月，其中编码1个月，重要的是需求调研。下面是公司软件开发的基本流程。

　　项目开发流程

　　项目调研

　　　　从零开始

　　　　需求调研

　　　　　　流行的大数据框架

　　项目需求分析

　　　　有什么需求。需求分析得到什么样的结果

　　项目设计

　　　　概要设计

　　　　　　大方向，框架级别

　　　　详细设计

　　　　　　具体的模块设计、表的设计

　　项目编码  30%时间

　　　　编码

　　　　需要不断测试

　　项目测试

　　　　单元测试

　　　　联调测试

　　项目上线运行

　　　　试运行阶段

　　　　正式运行

　　项目的运维

　　项目的优化