蒋源德

2015年4月7日

摘要： storm保证从spout发出的每个tuple都会被完全处理。这篇文章介绍storm是怎么做到这个保证的，以及我们使用者怎么做才能充分利用storm的可靠性特点。一个tuple被”完全处理”是什么意思？就如同蝴蝶效应一样，从spout发射的一个tuple可以引起其它成千上万个tuple因它而产生， ... 阅读全文

posted @ 2015-04-07 21:53 蒋源德阅读(446) 评论(0) 推荐(0) 编辑

storm简介

摘要： Streams,流流作为storm的核心概念,定义为无限的tuple序列.什么是tuple?命名的value序列,可以理解成Key/value序列,每个value可以是任何类型,动态类型不需要事先声明.Tuple在传输中需要序列化和反序列化,storm集成了普通类型的序列化模块,用户可以自定义特殊类... 阅读全文

posted @ 2015-04-07 21:51 蒋源德阅读(425) 评论(0) 推荐(0) 编辑

2015年4月6日

storm安装配置

摘要： 1.修改主机名：vim /etc/sysconfig/networkNETWORKING=yesHOSTNAME=MASTER2.修改IP：先用ifconfig得到ip信息，将其复制设置ip地址为静态vim /etc/sysconfig/network-scripts/ifcfg-eth0BOOTP... 阅读全文

posted @ 2015-04-06 15:43 蒋源德阅读(181) 评论(0) 推荐(0) 编辑

2015年3月28日

使用hadoop平台进行小型网站日志分析

摘要： 0.上传日志文件到linux中，通过flume将文件收集到hdfs中。执行命令/home/cloud/flume/bin/flume-ng agent -n a4 -c conf -f /home/cloud/flume/conf/a4.conf -Dflume.root.logger=DEBUG,... 阅读全文

posted @ 2015-03-28 00:35 蒋源德阅读(256) 评论(0) 推荐(0) 编辑

2015年3月27日

flume分布式日志收集系统操作

摘要： 1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。3.agent里面包含3个核心组件：source、channel、sink。3.1 source组件是专用于收集日志的，可以处理各种类... 阅读全文

posted @ 2015-03-27 19:40 蒋源德阅读(844) 评论(0) 推荐(0) 编辑

2015年3月26日

map-reduce任务的执行流程

摘要： (1).客户端提交一个mr的jar包给JobClient(提交方式：hadoop jar ...)(2).JobClient通过RPC和JobTracker进行通信，返回一个存放jar包的地址（HDFS）和jobId(3).client将jar包写入到HDFS当中(path = hdfs上的地址 +... 阅读全文

posted @ 2015-03-26 22:29 蒋源德阅读(234) 评论(0) 推荐(0) 编辑

linux设置定制器自动执行任务

摘要：基本格式 :* * * * * command分时日月周命令第1列表示分钟1～59 每分钟用*或者 */1表示第2列表示小时1～23（0表示0点）第3列表示日期1～31第4列表示月份1～12第5列标识号星期0～6（0表示星期天）第6列要运行的命令crontab文件的一些... 阅读全文

posted @ 2015-03-26 22:08 蒋源德阅读(188) 评论(0) 推荐(0) 编辑

pig笔记

摘要： 1.安装Pig将pig添加到环境变量当中2.pig使用首先将数据库中的数据导入到HDFS上sqoop import --connect jdbc:mysql://192.168.1.10:3306/cloud --username root --password JChubby123 --table... 阅读全文

posted @ 2015-03-26 22:03 蒋源德阅读(192) 评论(0) 推荐(0) 编辑

hive操作记录

摘要： hive是依赖于hdfs和yarn的一个数据仓库数据库和数据仓库的区别：数据库在存储数据的同时，允许实时的增删改查等操作数据仓库在存储数据的同时还执行着计算和分析数据的工作，但是并不能实时的进行增删改等操作，如果需要对数据进行更新则需要将数据下载下来更新之后再放入数据仓库中，是一次写入多次读取的过程... 阅读全文

posted @ 2015-03-26 18:00 蒋源德阅读(2111) 评论(0) 推荐(0) 编辑

2015年3月24日

hbase集群安装和shell操作

摘要： 1.上传hbase安装包2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了）注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下让hbase节点知道hdfs的映射关系，也可以在hbase-site.xml中配置3.1修改hb... 阅读全文

posted @ 2015-03-24 19:28 蒋源德阅读(170) 评论(0) 推荐(0) 编辑

公告