随笔分类 - Hadoop
摘要：主要内容： mapreduce编程模型再解释； ob提交方式： windows->yarn windows->local ； linux->local linux->yarn； 本地运行debug调试观察 windows->yarn windows->local ； linux->local lin
阅读全文
摘要：主要内容：mapreduce整体工作机制介绍；wordcont的编写（map逻辑 和 reduce逻辑）与提交集群运行；调度平台yarn的快速理解以及yarn集群的安装与启动。 1、mapreduce整体工作机制介绍 回顾第HDFS第一天单词统计实例（HDFS版wordcount）： 统计HDFS的
阅读全文
摘要：主要内容：hdfs的核心工作原理：namenode元数据管理机制，checkpoint机制；数据上传下载流程 1、hdfs的核心工作原理 1.1、namenode元数据管理要点 1、什么是元数据？ hdfs的目录结构及每一个文件的块信息（块的id，块的副本数量，块的存放位置<datanode>） 2
阅读全文
摘要：主要内容：hdfs的整体运行机制，DATANODE存储文件块的观察，hdfs集群的搭建与配置，hdfs命令行客户端常见命令；业务系统中日志生成机制，HDFS的java客户端api基本使用。 1、什么是大数据 基本概念 《数据处理》 在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息
阅读全文
