咖啡猫

摘要： HBase的服务器体系结构遵循简单的主从服务器架构，它由HRegion服务器（HRegion Server）群和HBase Master服务器（HBase Master Server)构成。HBase Master服务器负责管理所有的HRegion服务器，而HBase中所有的服务器都是通过ZooKe... 阅读全文

摘要： 1.Hive1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。 本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。 hive有一套映射工具，可以把SQL转换为MapReduce... 阅读全文

摘要： 1.HBase(NoSQL)的数据模型1.1 表(table)，是存储管理数据的。1.2 行键(row key)，类似于MySQL中的主键。 行键是HBase表天然自带的。1.3 列族(column family)，列的集合。 HBase中列族是需要在定义表时指定的，列是在插入记录时动态... 阅读全文

摘要： 1.Pig是基于hadoop的一个数据处理的框架。 MapReduce是使用java进行开发的，Pig有一套自己的数据处理语言，Pig的数据处理过程要转化为MR来运行。2.Pig的数据处理语言是数据流方式的，类似于初中做的数学题。3.Pig基本数据类型：int、long、float、double、... 阅读全文

摘要： 1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。3.agent里面包含3个核心组件：source、channel、sink。3.1 source组件是专用于收集日志的，可以处理各种类... 阅读全文

摘要： 把mysql中的表复制到hdfs/hive中，hdfs默认路径是/user/(username)中sqoop ##sqoop命令 import ##表示导入 --connect jdbc:mysql://ip:3306/sqoop ##告诉jdbc，连接mysql的url --userna... 阅读全文

摘要： 问：在eclipse中的写的代码如何提交作业到JobTracker中的哪？答：(1)在eclipse中调用的job.waitForCompletion(true)实际上执行如下方法 connect(); info = jobClient.submitJobInternal(conf); (... 阅读全文

摘要： 1.1读取hdfs中的文件。每一行解析成一个。每一个键值对调用一次map函数 解析成2个，分别是。调用2次map函数。 1、读文件解析 1.2 覆盖map()，接收1.1产生的，进行处理，转换为新的... 阅读全文

摘要：  客户端向服务器端发出连接请求 服务器端向客户端发出自己的公钥 客户端使用服务器端的公钥加密通讯密钥然后发给服务器端 如果通讯过程被截获，由于窃听者即使获知公钥和经过公钥加密的内容，但不拥有私钥依然无法解密（RSA算法） 服务器端接收到密文后，用私钥解密，获知通讯密钥 ssh-keyg... 阅读全文

摘要： 这篇文章翻译自Yahoo的Hadoop教程，很久之前就看过了，感觉还不错。最近想总结一下以前学的东西，看到现在关于Hadoop的中文资料还比较少，就有了把它翻译出来的想法，希望能帮助到初学者。这只是Yahoo的Hadoop教程中很小的一部分，我下去还会选一些来翻译，一般来说只翻译讲原理的，操作类的就... 阅读全文