文章分类 - hadoop
摘要:2015年8月22日传智.司马炎Hadoop Day71.SqoopØ Sqoop是什么?(****了解*****)Sqoop是一款开源的工具,主要用于在HADOOP(Hive)与传统的数据库(mysql、 postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ...
阅读全文
摘要:2015年8月21日传智.司马炎Hadoop Day61.Hive官方网址:http://hive.apache.org/Ø 什么是Hive?(***了解***)l Hive 是建立在 Hadoop上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL ),这是一种可以存储...
阅读全文
摘要:.司马炎 Hadoop Day5 1.Zookeeper(***必须掌握***) 官方网址:http://zookeeper.apache.org/ l Zookeeper 是 Google 的 Chubby一个开源的实现,是 Hadoop 的分布式协调服务 l 它包含一个简单的原语集,分布式应用程
阅读全文
摘要:2015年8月22日传智.司马炎Hadoop Day41.Writable接口与序列化机制(***必须掌握***)Ø 序列化概念l 序列化(Serialization)是指把结构化对象转化为字节流。l 反序列化(Deserialization)是序列化的逆过程。即把字节流转回结构化对象。l Java...
阅读全文
摘要:2015年8月22日传智.司马炎Hadoop Day21.分布式文件系统与HDFS(****了解***)Ø 思考:windows的文件存储目录结构?Ø 什么是分布式文件系统?(***了解***)当数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理...
阅读全文
摘要:2015年8月22日传智.司马炎Hadoop课程大纲(***了解即可***)1.Hadoop概述Hadoop是一个由Apache基金会的发布的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。2.Hadoop薪资介绍与职业技能要求3.课...
阅读全文