摘要： 数据库操作无非就是增、删、改、查。这篇主要介绍增、删、改。 1.增 Mongodb插入操作很简单，使用关键字“insert”。实例： 使用insert关键字，里面设置文档。如果文档中没有“_id”，Mongodb会自动生成。 当执行插入操作时，数据库会校验是否包含“_id”键，并且文档不超过4MB， 阅读全文

摘要： MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。 MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。 在这里我们有必要先简单介绍一下非关系型数据库（NoSQL） 1.什么是 阅读全文

摘要： MapReduce深度分析(二) 五、JobTracker分析 JobTracker是hadoop的重要的后台守护进程之一，主要的功能是管理任务调度、管理TaskTracker、监控作业执行、运行作业容错机制等。 首先启动interTrackerServer，将端口配置为mapred.job.tra 阅读全文

摘要： MapReduce深度分析(一) 一、数据流向分析 图为MapReduce数据流向示意图 步骤1、输入文件从HDFS流向到Mapper节点。在一般情况下，存储数据的节点就是Mapper运行的节点，不需要在节点之间进行数据传输，也就是尽量让存储靠近计算。 步骤2、mapper输出到内存缓冲区。Mapp 阅读全文

摘要： MapReduce计算框架 一、MapReduce实现原理 图展示了MapReduce实现中的全部流程，处理步骤如下： 1、用户程序中的MapReduce函数库首先把输入文件分成M块(每块大小默认64M)，在集群上执行处理程序，见序号1 2、主控程序master分配Map任务和Reduce任务给工作 阅读全文

摘要： HDFS存储系统 一、基本概念 1、NameNode HDFS采用Master/Slave架构。namenode就是HDFS的Master架构。主要负责HDFS文件系统的管理工作，具体包括：名称空间(namespace)管理(如打开、关闭、重命名文件和目录、映射关系)、文件block管理。NameN 阅读全文

摘要： SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生，它是当时唯一运行在Hadoop上的SQL-on-Hadoop工具。但是MapReduce计算过程中大量的中间磁盘落地过程消耗了大量的I/O，降低的运行效率，为了提高SQL- 阅读全文

摘要： Spark的内核部分主要从以下几个方面介绍： 任务调度系统、I/0模块、通信控制模块、容错模块、shuffle模块 接下来注意几个概念： Application：用户自定义的Spark程序，用户提交后，Spark为App分配资源，将程序转换并执行。 Driver Program：运行Applicat 阅读全文

摘要： spark算子大致上可分三大类算子： 1、Value数据类型的Transformation算子，这种变换不触发提交作业，针对处理的数据项是Value型的数据。 2、Key-Value数据类型的Transformation算子，这种变换不触发提交作业，针对处理的数据项是Key-Value型的数据。 3 阅读全文

摘要： 一、先检测是否已安装 安装git需要安装一些依赖，但是安装依赖之前需要先检测一下是否已经安装了git。 二、具体安装命令 如果以前没有安装过，则下载下列依赖(需要联网) 三、测试 阅读全文