摘要：
进行时间管理的实践，第一步要了解现在是如何利用时间的，为此需要遵循以下步骤：1）将主要活动分类。当分配时间时，你会发现大部分时间都用在相对很少的几个活动上。2）记录每项主要活动所花费的时间。坚持记录时间需要很强的自我约束能力。3）用标准的方式记录时间。必需使用标准的时间日志。因为需要采集的时间数据的 阅读全文
摘要：
点击到map package com.example.myapplication2;import android.annotation.SuppressLint;import android.app.Activity;import android.os.Bundle;import android.w 阅读全文
摘要：
1、导入到hive 2、数据清洗 3、数据处理 （1）机场： （2）代理商： （3）代理商活跃度 （4）销售利润 4、导入到Mysql 阅读全文
摘要：
Hive Metadata即Hive的元数据。 包含用Hive创建的database、table、表的位置、类型、属性，字段顺序类型等元信息。 元数据存储在关系型数据库中。如hive内置的Derby、或者第三方如MySQL等。 Metastore即元数据服务。Metastore服务的作用是管理met 阅读全文
摘要：
1、Hive虽然有RDBMS数据库的外表，包括数据模型、SQL语法都十分相似，但应用场景却完全不同。 2、Hive只适合用来做海量数据的离线分析。Hive的定位是数据仓库，面向分析的OLAP系统。 3、Hive不是大型数据库，也不是要取代MySQL承担业务数据处理。 阅读全文
摘要：
RecordReader： 记录阅读器将数据分解为键/值对，以供映射器输入。 Partitioner： 分区键空间。 <p><code>Partitioner</code>控制中间映射输出键的分区。键(或键的子集)用于派生 分区，通常通过哈希函数。分区的总数与任务的reduce任务的总数相同。因此, 阅读全文
摘要：
Hadoop HDFS： 分布式存储系统，包含NameNode，DataNode。NameNode：元数据，DataNode。DataNode：存数数据。 yarn： 可以理解为MapReduce的协调机制，本质就是Hadoop的处理分析机制，分为ResourceManager NodeManage 阅读全文
摘要：
reducer主要有三个阶段 1.Shuffle（一部分）： Reducer通过网络使用HTTP从每个mapper复制排序的输出（K2V2）。 2.Sort： 框架合并按键对reducer输入进行排序(因为不同的mapper可能输出相同的键)。 shuffle和sort阶段是同时发生的，也就是说，在 阅读全文
摘要：
读书笔记： 开篇是诸多大佬对这本书的评价，对邹欣老师和这部著作赞赏有加，也使我兴趣大增。 第一章介绍了软件工程的概念、理论、知识点和软件工程和计算机科学的关系。具体来说是让我认识到了以下几个概念：源代码管理，配置管理，质量保证，软件测试，需求分析。程序理解，软件维护，服务运营，合称为软件的生命周期。 阅读全文
摘要：
减少复制因子 在副本数大于设定的副本数时进行 当文件的复制因子减少时，NameNode选择可以删除的多余副本。下一个Heartbeat将此信息传输到DataNode。 然后，DataNode删除相应的块，并在群集中显示相应的可用空间。 再一次，setReplication API调用完成与集群中可用 阅读全文