菜鸟的进击

摘要：MapReduce原理 MapRedcue采用‘分而治之’的思想，对大规模数据集的操作，分发给一个主节点下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。Mapreduce就是任务的分解，与结果的汇总 MapReduce任务机器有两个一个是jobTracker，另一个是TaskT 阅读全文

摘要：Hive架构图 Hive产生原因 1 关系型数据库以产生多年sql成熟 2 简化开发降低成本 3 java成员可编写udf函数 Hive是什么 Hive是基于hadoop的一个数据库工具，使用Hql作为接口，maprduce作为执行层 Hdfs作为储存层。设计的目的是让sql开发人员java技能较弱 阅读全文

摘要：Yarn的产生 mapReduc1.0 1单点故障 2扩展效率低 3资源利用率高 降低运维成本 方便数据共享 多计算框架支持 MapReduce Spark Storm Yarn的架构图 Yarn模块介绍 ResourceManger 负责集群资源的统一管理和调度 处理客户端请求 启动/监控Appl 阅读全文

摘要：一 . Namenode Namenode 是整个系统的管理节点 就像一本书的目录，储存文件信息，地址，接受用户请求，等 二 . Datanode 提供真实的文件数据，存储服务 文件块（block）是基础的最基本的储存单元 2.1块储存原理 hdfs为什么分块而不是分文件 大小不一 io不均衡：负载 阅读全文

摘要：1安装vmware 虚拟机软件 1.解压vmware安装 汉化vmware虚拟机 复制注册码，并填写进vmware 2安装linux（centos）虚拟机 1. 点击文件 >新建虚拟机 >选择自定义 >继续 3.选择我以后安装操作系统 4选择对应的版本 5虚拟机的重命名及位置 6处理机的配置默认 7 阅读全文

摘要：1.网络中继更改问题 命令： vi /etc/sysconfig/network-scripts/ifcfg-eth0 需要修改的代码 DEVICE=eth0 HWADDR=00:0C:29:11:02:E8 TYPE=Ethernet UUID=c1038317-21f4-4251-a68f-09 阅读全文

摘要：adp环境配置文档 adp环境配置文档 1 一，环境的基础配置同Apache hadoop类似（可参考） 1 二，不同配置之处 1 2.1 同步时钟 1 三． Hdp服务器配置 2 3.1 资源库的配置 2 3.2安装mysql 2 3.3安装配置Ambari 3 3.4重启Ambari-serve 阅读全文

摘要：大数据问题汇总 1.安装问题 1.安装步骤，详见文档《centos虚拟机安装指南》 2.vi编辑器使用问题，详见文档《linux常用命令.pdf》 3.网络中继更改问题 命令： vi /etc/sysconfig/network-scripts/ifcfg-eth0·········需要修改的代码· 阅读全文