摘要: 1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统HDFS(Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户 阅读全文
posted @ 2016-09-13 23:42 conanwang 阅读(188) 评论(0) 推荐(0) 编辑
摘要: 摘要 Kafka在0.8以前的版本中,并不提供High Availablity机制,一旦一个或多个Broker宕机,则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复,亦或磁盘故障,则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化,同时对于分布式系统 阅读全文
posted @ 2016-09-13 20:47 conanwang 阅读(336) 评论(0) 推荐(0) 编辑
摘要: 消息队列 消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走。通过消息队列,应用程序可独立地执行--它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。在分布式计算环境中,为了集成分布式应用,开发者需要对异构网络环境下的 阅读全文
posted @ 2016-09-13 20:12 conanwang 阅读(2573) 评论(0) 推荐(0) 编辑
摘要: 摘要 Kafka是由LinkedIn开发并开源的分布式消息系统,因其分布式及高吞吐率而被广泛使用,现已与Cloudera Hadoop,Apache Storm,Apache Spark集成。本文介绍了Kafka的创建背景,设计目标,使用消息系统的优势以及目前流行的消息系统对比。并介绍了Kafka的 阅读全文
posted @ 2016-09-13 19:28 conanwang 阅读(907) 评论(0) 推荐(0) 编辑
摘要: 一、MySQL权限简介 关于mysql的权限简单的理解就是mysql允许你做你全力以内的事情,不可以越界。比如只允许你执行select操作,那么你就不能执行update操作。只允许你从某台机器上连接mysql,那么你就不能从除那台机器以外的其他机器连接mysql。 那么Mysql的权限是如何实现的呢 阅读全文
posted @ 2016-09-13 17:12 conanwang 阅读(176) 评论(0) 推荐(0) 编辑