五三中 - 博客园

2016年1月19日

摘要：转自： http://www.csdn.net/article/2015-06-21/2825011 摘要：眼下大数据领域最热门的词汇之一便是流计算了，而其中最耀眼的无疑是来自Spark社区的SparkStreaming项目。对于流计算而言，最核心的特点毫无疑问就是它对低时的需求，但这也带来了相关阅读全文

posted @ 2016-01-19 15:01 五三中阅读(1723) 评论(0) 推荐(0) 编辑

Spark 快速理解

摘要：转自：http://blog.csdn.net/colorant/article/details/8255958==是什么==目标Scope（解决什么问题）在大规模的特定数据集上的迭代运算或重复查询检索官方定义aMapReduce-like cluster computing framework d... 阅读全文

posted @ 2016-01-19 00:40 五三中阅读(771) 评论(0) 推荐(0) 编辑

2016年1月18日

AOP——引言

摘要：转自：http://wayfarer.cnblogs.com/articles/241012.html1、引言2、AOP技术基础3、Java平台AOP技术研究4、.Net平台AOP技术研究软件设计因为引入面向对象思想而逐渐变得丰富起来。“一切皆为对象”的精义，使得程序世界所要处理的逻辑简化，开发者可... 阅读全文

posted @ 2016-01-18 16:21 五三中阅读(202) 评论(0) 推荐(0) 编辑

科普Spark，Spark核心是什么，如何使用Spark（1）

摘要：科普Spark，Spark是什么，如何使用Spark（1）转自：http://www.aboutyun.com/thread-6849-1-1.html阅读本文章可以带着下面问题：1.Spark基于什么算法的分布式计算（很简单）2.Spark与MapReduce不同在什么地方3.Spark为什么比H... 阅读全文

posted @ 2016-01-18 11:48 五三中阅读(2165) 评论(0) 推荐(0) 编辑

2016年1月16日

从Storm和Spark 学习流式实时分布式计算的设计

摘要：转自：http://www.dataguru.cn/thread-341168-1-1.html 流式实时分布式计算系统在互联网公司占有举足轻重的地位，尤其在在线和近线的海量数据处理上。而处理这些海量数据的，就是实时流式计算系统。Spark是实时计算的系统，支持流式计算，批处理和实时查询。除了... 阅读全文

posted @ 2016-01-16 22:53 五三中阅读(3537) 评论(0) 推荐(0) 编辑

Twitter Storm如何保证消息不丢失

摘要：转自：http://xumingming.sinaapp.com/127/twitter-storm如何保证消息不丢失/ storm保证从spout发出的每个tuple都会被完全处理。这篇文章介绍storm是怎么做到这个保证的，以及我们使用者怎么做才能充分利用storm的可靠性特点。就如同蝴蝶阅读全文

posted @ 2016-01-16 19:58 五三中阅读(759) 评论(0) 推荐(0) 编辑

2016年1月15日

Flume1.5.0入门：安装、部署、及flume的案例

摘要：转自：http://www.aboutyun.com/thread-8917-1-1.html问题导读1.什么是flume2.flume的官方网站在哪里？3.flume有哪些术语？4.如何配置flume数据源码？一、什么是Flume? flume 作为 cloudera 开发的实时日志收集系统... 阅读全文

posted @ 2016-01-15 20:25 五三中阅读(509) 评论(0) 推荐(0) 编辑

基于Flume的美团日志收集系统(一)架构和设计

摘要：转自：http://www.aboutyun.com/thread-8317-1-1.html问题导读：1.Flume-NG与Scribe对比，Flume-NG的优势在什么地方？2.架构设计考虑需要考虑什么问题？3.Agent死机该如何解决？4.Collector死机是否会有影响？5.Flume-N... 阅读全文

posted @ 2016-01-15 20:22 五三中阅读(1039) 评论(0) 推荐(0) 编辑

海量数据框架变迁——阿里巴巴上市背后的技术力量

摘要：转自：http://blog.csdn.net/zhongwen7710/article/details/39835425阿里巴巴的上市，这不仅是商业和资本领域的一件大事，对于技术世界也是如此，在阿里巴巴的30位合伙人中，我们可以看到多位技术人员的影子，比如阿里巴巴集团CTO王坚，小微金融服务集团C... 阅读全文

posted @ 2016-01-15 01:35 五三中阅读(651) 评论(0) 推荐(0) 编辑

redis集群配置

摘要：（要让集群正常工作至少需要3个主节点，在这里我们要创建6个redis节点，其中三个为主节点，三个为从节点，对应的redis节点的ip和端口对应关系如下）192.168.1.160:7000192.168.1.160:7001192.168.1.160:7002192.168.1.160:700319... 阅读全文

posted @ 2016-01-15 00:17 五三中阅读(661) 评论(0) 推荐(0) 编辑

cxzdy

公告