摘要：
一.消息队列的作用 1. 应用解耦 2.异步处理 3.数据限流 4.消息通信二.概念代理 broker kafka 集群中一个kafka的进程生产者 producer消费者 consumer 消费者组 多个线程来执行 主题 topic 分区 每一个主题中有一个或多个分区 基于物理层次 副本 每个主题 阅读全文
摘要：
1.HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似 阅读全文
摘要：
1.hive 介绍 （hadoop 上 sql on MR ） hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapRe 阅读全文
摘要：
准备工作： 注意事项 需要启动多个shell脚本交互客户端进行验证，运行中的客户端不要停止。 安装flume 下载：wget http://mirrors.hust.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz 解压：tar -zxv 阅读全文
摘要：
事务 事务是一组原子性sql查询语句，被当作一个工作单元。若MySQL对改事务单元内的所有sql语句都正常的执行完，则事务操作视为成功，所有的sql语句才对数据生效，若sql中任意不能执行或出错则事务操作失败，所有对数据的操作则无效（通过回滚恢复数据）。 事务有四个属性 多事务运行时的并发问题 数据 阅读全文
摘要：
1. 安装JDK 1.1 安装文件：http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载JDK1.2 安装完成后需要添加以下的环境变量（右键点击“我的电脑” -> "高级系统设置" -> "环境变量" ）： JAV 阅读全文