他山之石

摘要： 一，引言 二，什么是Hive 2.1 hive是什么 2.2 hive的特点 2.3 hive与RDBMS的对比 三，Hive的架构 3.1 用户接口与界面 3.2 跨语言服务 3.3 元数据存储 3.4 底层驱动（driver） 四，Hive的工作原理 五，Hive的数据类型 5.1 基本数类型 阅读全文

摘要： 一，服务要求 1.1 主机服务 1.2 文件下载 二，集群安装 三，集群启动 3.1 集群启动 3.2 进程查看 3.3 自定义启动脚本 正文 一， 服务要求 1.1 主机服务 zookeeper服务的安装：服务主机最好是奇数台，我这里准备的是三台，分别是：hd1，hd2，hd3 1.2 文件下载 阅读全文

摘要： 一，ZooKeeper中的各种角色 二，ZooKeeper与客户端 三，Zookeeper节点数据操作流程 四，Paxos 算法概述（ZAB 协议） 五，ZooKeeper 的选主机制 5.1 选择机制中的概念 5.2 选举消息内容 5.3 选举流程图 5.4 ZooKeeper 的全新集群选主 5 阅读全文

摘要： 一，引言 原文链接：http://www.cnblogs.com/sunddenly/p/4033574.html Hadoop 集群当中 N 多的配置信息如何做到全局一致并且单点修改迅速响应到整个集群？ 配置管理 Hadoop 集群中的 namonode 和 resourcemanager 的单点 阅读全文

摘要： 一，WordCount程序 案例分析 需求：统计多个文件的每个单词的出现的次数。 分析： map阶段： 将每一行文本数据变成<单词,1>这样的kv数据 reduce阶段：将相同单词的一组kv数据进行聚合：累加所有的v 代码实现 编码实现：Mapper类开发 package cn.edu360.mr. 阅读全文

摘要： 一，前言 进程：是程序，资源集合，进程控制块组成，是最小的资源单位 特点：就对Python而言，可以实现真正的并行效果 缺点：进程切换很容易消耗cpu资源，进程之间的通信相对线程来说比较麻烦 线程：是进程中最小的执行单位。 特点无法利用多核，无法实现真正意义上是并行效果。 优点：对于IO密集型的操作 阅读全文

摘要： 一，前言 进程：是程序，资源集合，进程控制块组成，是最小的资源单位 特点：就对Python而言，可以实现真正的并行效果 缺点：进程切换很容易消耗cpu资源，进程之间的通信相对线程来说比较麻烦 线程：是进程中最小的执行单位。 特点无法利用多核，无法实现真正意义上是并行效果。 优点：对于IO密集型的操作 阅读全文

摘要： 一，前言 Hadoop 2.0由三个子系统组成，分别是HDFS、YARN和MapReduce，其中，YARN是一个崭新的资源管理系统，而MapReduce则只是运行在YARN上的一个应用，如果把YARN看成一个云操作系统，那么MapReduce可认为是运行在这个操作系统上的App。 二，产生背景 Y 阅读全文

摘要： 一，前言 数据库是开发中必不可少的一个工具，那么java如何操作数据库呢，那就是我们的JDBC了，接下来我们将会好好聊一下这个JDBC. 二，JDBC 2.1 JDBC概述 JDBC（Java Data Base Connectivity,java数据库连接）是一种用于执行SQL语句的Java AP 阅读全文

摘要： 一，前言 前面我们已经对线程和线程池有一定的了解，但是只要说到多线程，肯定需要考虑线程安全等问题。接下来我们就来好好聊聊这些问题。 二，线程安全 如果有多个线程在同时运行，而这些线程可能会同时运行这段代码。程序每次运行结果和单线程运行的结果是一样的，而且其他的变量的值也和预期的是一样的，就是线程安全 阅读全文