2016年7月21日
Zookepper（2015.08.16笔记）
摘要： 2015.08.16zookepper Zookeeper 是 Google 的 Chubby一个开源的实现，是 Hadoop 的分布式协调服务（如同小区里面的供水、电的系统） 它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等（在大数据框架后面默默地工作，它可以完成大数据计算框架在它们主要业务外的辅助性业务） Zookepper的角色 数据同步的工具... 阅读全文
posted @ 2016-07-21 10:40 StephenLu 阅读(506) 评论(0) 推荐(0) 编辑
Redis（2015.08.03笔记一）
摘要： 一、redis简介 Redis是一种面向"键/值"对数据类型的内存数据库，可以满足我们对海量数据的读写需求。 redis的键只能是字符串 redis的值支持多种数据类型： 1：字符串 string 2：哈希 hash 3：字符串列表 list 4：字符串集合 set 不重复（只用于string），无 阅读全文
posted @ 2016-07-21 10:33 StephenLu 阅读(187) 评论(0) 推荐(0) 编辑
Docker（开课吧笔记）
摘要： 1.Docker基本概念 Docker运行在Linux，需要git技能 docker官网解析 来源于容器又不仅仅是容器，第一个版本基于LXC，远远超过容器概念 交付时拿到的是镜像，直接run运行想要的应用程序 持续集成持续交付更加普及 秒级启动，可轻易获取 可忽略与应用无关的操作，用dockerfile就可以构建一模一样的镜像，平民技术 2.Docker实现原理... 阅读全文
posted @ 2016-07-21 10:25 StephenLu 阅读(790) 评论(0) 推荐(0) 编辑
Spark（开课吧笔记）
摘要： 2016.07.14 1-Spark实战演练：Spark概述及生态环境 2.Spark实战演练：Spark vs Hadoop MapReduce 任意一条边有方向且不存在环路的图，一次执行所有这些图的任务节点，而不需要一个个按照顺序来进行，这个方案避免了mapreduce中麻烦的同步问题，应用程序构建简单。 创新：1支持跨DAG的内存数据分享，不同任务处理相同的数据 2支... 阅读全文
posted @ 2016-07-21 09:52 StephenLu 阅读(752) 评论(0) 推荐(0) 编辑
2016年4月12日
Docker搭建hadoop集群
摘要： 参考https://github.com/kiwenlau/hadoop-cluster-docker/blob/master/start-container.sh 因为之前在VMware上操作Hadoop时发现资源消耗大，配置麻烦，所以思考能不能使用docker搭建Hadoop集群，感谢上面链接的 阅读全文
posted @ 2016-04-12 16:04 StephenLu 阅读(4051) 评论(1) 推荐(0) 编辑
2016年2月29日
HDFS入门（1）
摘要： 2015.07.12笔记 1.HDFS Distributed File System（操作系统实现人机交互，最重要的功能是文件管理，使用文件管理系统，windows、Linux文件管理系统有共性：用户可创建文件/夹，删除，修改权限，修改源数据信息（创建、修改、访问时间等）。在操作系统中的文件或者数据的管理是通过文件系统实现的，文件系统是操作系统实现文件管理的一个重要的组成部分，操作系统将文件放置... 阅读全文
posted @ 2016-02-29 22:37 StephenLu 阅读(338) 评论(0) 推荐(0) 编辑
2015年9月12日
2015.07.12hadoop伪分布安装
摘要： hadoop伪分布安装 Hadoop2的伪分布安装步骤【使用root用户用户登陆】other进去超级用户拥有最高的权限 1.1（桥接模式）设置静态IP ,，修改配置文件，虚拟机IP192.168.1.99重启网卡，网关192.168.1.1是物理机下面的默认网关， 执行命令 vi /etc/sysconfig/network-scripts/ifcfg-eh0 修改内容： TYPE="... 阅读全文
posted @ 2015-09-12 13:17 StephenLu 阅读(157) 评论(0) 推荐(0) 编辑
2015.07.20MapReducer源码解析（笔记）
摘要： MapReducer源码解析（笔记） 第一步，读取数据源，将每一行内容解析成一个个键值对，每个键值对供map函数定义一次，数据源由FileInputFormat:指定的，程序就能从地址读取记录，读取的记录每一行内容是如何转换成一个个键值对？Mapper函数是如何调用键值对？这是由InputFormatClass完成的，它在我们的例子中的具体实现类是TextInputFormat（Text是... 阅读全文
posted @ 2015-09-12 13:09 StephenLu 阅读(771) 评论(0) 推荐(0) 编辑
2015年8月11日
Hive（笔记）
摘要： （2015.07.22Hive笔记） 一、Hive的安装 1.1Hive的安装过程 下载hive源文件（apache-hive-0.14.0-bin.tar.gz ） 解压hive文件 进入$HIVE_HOME/conf/修改文件 cp hive-env.sh.template hive-env.s... 阅读全文
posted @ 2015-08-11 15:41 StephenLu 阅读(3135) 评论(0) 推荐(0) 编辑