2017年6月28日
Hive Metastore
摘要： metastore：实际保存表信息的地方。 包括： 数据库，表的基本信息；权限信息；存储格式信息； 各种属性信息； 权限信息； 分区，列信息； metastore server：metastaore的入口，使用Thrift协议可以当作通用的一个接口，支持多种语言。 metasotre databas 阅读全文
posted @ 2017-06-28 01:09 mzzcy 阅读(581) 评论(0) 推荐(0) 编辑
Hive 特性及原理
摘要： 特点：Hive是构建在hadoop之上的数据仓库。数据存储在hdfs上，数据计算用的mapreduce框架。用户无需掌握MR的编写，通过类SQL语句即可自动生成查询计划。 主要内容： 接入入口 Client CLI Beeline HiveServer2 metastore metasotre se 阅读全文
posted @ 2017-06-28 00:56 mzzcy 阅读(1207) 评论(0) 推荐(0) 编辑
数据库的事务与ACID
摘要： 一、事务： 事务(Transaction)，一般是指要做的或所做的事情。在计算机术语中是指访问并可能更新数据库中各种数据项的一个程序执行单元(unit)。在计算机术语中，事务通常就是指数据库事务。 二、事务的四个基本特性ADID： 1、原子性： 事务必须是原子工作单元；对于其数据修改，要么全都执行， 阅读全文
posted @ 2017-06-28 00:54 mzzcy 阅读(225) 评论(0) 推荐(0) 编辑
2017年6月27日
Hadoop MapReduce输入输出类型
摘要： 一、输入格式 1、输入分片split 一个分片对应一个map任务； 一个分片包含一个表（整个文件）上的若干行，而一条记录（单行）对应一行； 分片包含一个以字节为单位的长度 和 一组存储位置，分片不包含实际的数据； map处理时会用分片的大小来排序，优先处理最大的分片； hadoop中Java定义的分 阅读全文
posted @ 2017-06-27 21:47 mzzcy 阅读(657) 评论(0) 推荐(0) 编辑
类与类 之间的关系
摘要： UML把类之间分为以下5种关系： 关联：类A与类B之间存在特定对应关系（平等关系） 标：实线箭头 例：Customer与Order类的关系 注：关联可分为一对一关联、一对多关联，多对多关联 注：关联可分为一对一关联、一对多关联，多对多关联 依赖：类A访问类B提供的服务（使用关系） 标：虚线箭头 例： 阅读全文
posted @ 2017-06-27 11:25 mzzcy 阅读(274) 评论(0) 推荐(0) 编辑
2017年6月26日
Hadoop MapReduce两种架构 以及 YARN
摘要： 一、MRv1 Master - Slave 模式 存在JobTracker单点失败的问题，在YARN得到了解决。 主要包含4部分：JobTracker，TaskTracker，Task，Client JobTracker：负责整个MR集群的资源监控和作业调度，集群的Master。它把任务进度 和 资 阅读全文
posted @ 2017-06-26 01:20 mzzcy 阅读(480) 评论(0) 推荐(0) 编辑
HDFS
摘要： 一、梗概： 源于Google GFS论文（03年）。 Master - Slave 模式 优点： 超大文件 高容错 适合大数据的批处理（流式访问） 缺点： 高延时访问 小文件存储（元信息，寻道时间大） 不能多用户写，文件不能随机修改，只能追加（不支持并发写入，只能一个线程写入） 数据块blcok： 阅读全文
posted @ 2017-06-26 00:55 mzzcy 阅读(162) 评论(0) 推荐(0) 编辑
2017年6月25日
Hadoop MapReduce基本原理
摘要： 一、什么是： MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统 阅读全文
posted @ 2017-06-25 22:40 mzzcy 阅读(410) 评论(0) 推荐(0) 编辑
Hadoop中序列化与Writable接口
摘要： 学习笔记，整理自《Hadoop权威指南 第3版》 一、序列化 序列化：序列化是将 内存 中的结构化数据 转化为 能在网络上传输 或 磁盘中进行永久保存的二进制流的过程；反序列化：序列化的逆过程； 应用：进程间通信、网络传输、持久化； Hadoop中是使用的自己的序列化格式Writable，以及结合用 阅读全文
posted @ 2017-06-25 18:20 mzzcy 阅读(1224) 评论(0) 推荐(0) 编辑
2017年6月24日
Java线程池
摘要： 线程池的核心：控制线程数量，线程的复用； 适用场景：并发的线程数量很多，并且每个线程都是执行一个时间很短的任务就结束了，因为频繁创建和销毁线程也需要占不少的CPU和内存，使用线程池能很大地提高效率。 http://www.cnblogs.com/dolphin0520/ 阅读全文
posted @ 2017-06-24 12:46 mzzcy 阅读(136) 评论(0) 推荐(0) 编辑