摘要：
Action算子 Action function 解释 reduce((T,T)=>U) 对整个结果集规约, 最终生成一条数据, 是整个数据集的汇总 count() 返回元素个数 collect() 以数组形式返回数据集中所有元素 first() 返回第一个元素 take(N) 返回前N个元素 co 阅读全文
摘要：
RDD为什么会出现？ MapReduce 执行迭代计算任务 多个 MapReduce 任务之间没有基于内存的数据共享方式, 只能通过磁盘来进行共享，这种方式明显比较低效 RDD执行迭代计算任务 在 Spark 中, 最终 Job3 从逻辑上的计算过程是: Job3 = (Job1.map).filt 阅读全文
摘要：
RDD概念 定义 RDD（Resilient Distributed Datasets）, 是一个容错的, 并行的数据结构, 可以让用户显式地将数据存储到磁盘和内存中, 并能控制数据的分区. 同时, RDD 还提供了一组丰富的操作来操作这些数据. 在这些操作中, 诸如 map, flatMap, f 阅读全文
摘要：
下载并上传 官网下载：下载 Spark 安装包, 下载时候选择对应的 Hadoop 版本，然后上传到虚拟机上 解压并拷贝 # 解压 Spark 安装包 tar xzvf spark-2.2.0-bin-hadoop2.7.tgz # 移动 Spark 安装包 mv spark-2.2.0-bin-h 阅读全文
摘要：
实例代码 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> <script src="js/echarts.min.js"></script> </head> <body> <div 阅读全文
摘要：
需求分析与建模 需求分析是需求工程中最为核心的工作，需求建模是需求分析的主要手段。 需求分析 需求分析的任务并不是分析系统如何实现用户的需求，需求分析实际上是一种业务分析，也就是选择一种业务导向的线索将需求串起来，形成一个完整的可参考的架子。三大重心：分解、提炼，消除矛盾 分解分解有很多种，如下 业 阅读全文
摘要：
需求捕获的策略 需求捕获的过程是人和人打交道的过程，是需求分析人员展示自己沟通能力的地方，因此就需要大家掌握一些人文技巧，学会一些和人打交道的策略。 需求捕获应该是主动的 需求捕获应该是聚焦的 案例 小赵问监控中心的小张：你对这个系统有什么需求？ 小张说：“我想到的功能包括值班日志、告警的声 阅读全文
摘要：
需求定义的要素 目标：一个好的目标应该满足SMART原则 具体的 可度量的 可达到的 和其他目标具有相关性 有明确的截至期限 确定范围 方法：两图一纲（构件图、上下文关系图、需求大纲） 相关人员与用户 相关事实与假定 定义需求范围 划分主题域分解系统时，按照业务的脉络来划分(根据业务流程来分解，以' 阅读全文
摘要：
1 Hive操作 1.1 创建数据库 create database if not exists myhive; use myhive; 1.2 创建表 row format delimited fields terminated by ',':指定字段之间的分隔符stored as textfil 阅读全文
摘要：
需求定义概述？ 需求定义，顾名思义，就是要确定项目的宏观需求。换句话说，就是定义项目的业务需求，也就是明确项目的目标和范畴。 需求定义4步骤 目标：通过内部寻根或外部溯源的方法，先将整个项目要解决的问题或机会罗列出来。 问题：针对目标层面的问题进行分析，找到导致该问题产生的根源问题，然后将其罗列出来 阅读全文