随笔 - 178, 文章 - 0, 评论 - 6, 阅读 - 20万
  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理
< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

05 2015 档案

Storm命令详解

摘要：在Linux终端直接输入storm，不带任何参数信息，或者输入storm help，可以查看storm命令行客户端(Command line client)提供的帮助信息。Storm 0.9.0.1版本在Linux终端直接输入storm后的输出内容如下：Commands:activateclassp... 阅读全文

posted @ 2015-05-15 09:39 xymaqingxiang 阅读(1870) 评论(0) 推荐(0) 编辑

图解Storm

摘要：问题导读：1.你认为什么图形可以显示hadoop与storm的区别？（电梯）2.本文是如何形象讲解hadoop与storm的？（离线批量处理、实时流式处理）3.hadoop map/reduce对应storm那两个概念？（spout/bolt）4.storm流由谁来组成？（Tuples）5.tupl... 阅读全文

posted @ 2015-05-12 21:26 xymaqingxiang 阅读(605) 评论(0) 推荐(0) 编辑

追本溯源 解析“大数据生态环境”发展现状(CSDN)

摘要：程学旗先生是中科院计算所副总工、研究员、博士生导师、网络科学与技术重点实验室主任。本次程学旗带来了中国大数据生态系统的基础问题方面的内容分享。大数据的发展越来越快，但是对于大数据的认知大都还停留在最初的阶段——大数据是一类资源、一类工具，其实“大数据”更多的体现的是一个认知和思维，是一种战略、认知和... 阅读全文

posted @ 2015-05-05 09:53 xymaqingxiang 阅读(508) 评论(0) 推荐(0) 编辑

Hadoop科普文——常见的45个问题解答(CSDN)

摘要：Hadoop科普文——常见的45个问题解答1.Hadoop集群可以运行的3个模式？单机（本地）模式伪分布式模式全分布式模式2.单机（本地）模式中的注意点？在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开发过... 阅读全文

posted @ 2015-05-05 09:45 xymaqingxiang 阅读(350) 评论(0) 推荐(0) 编辑

中国大数据六大技术变迁记(CSDN)

摘要：大会召开前期，特别梳理了历届大会亮点以记录中国大数据技术领域发展历程，并立足当下生态圈现状对即将召开的BDTC 2014进行展望：追本溯源，悉大数据六大技术变迁伴随着大数据技术大会的发展，我们亲历了中国大数据技术与应用时代的到来，也见证了整个大数据生态圈技术的发展与衍变：1. 计算资源的分布化——从... 阅读全文

posted @ 2015-05-05 09:40 xymaqingxiang 阅读(777) 评论(0) 推荐(0) 编辑

Storm实战：在云上搭建大规模实时数据流处理系统（Storm+Kafka）

摘要：在大数据时代，数据规模变得越来越大。由于数据的增长速度和非结构化的特性，常用的软硬件工具已无法在用户可容忍的时间内对数据进行采集、管理和处理。本文主要介绍如何在阿里云上使用Kafka和Storm搭建大规模消息分发和实时数据流处理系统，以及这个过程中主要遭遇的一些挑战。实践主要立足建立一套汽车状态实时... 阅读全文

posted @ 2015-05-04 22:09 xymaqingxiang 阅读(3606) 评论(1) 推荐(0) 编辑

浅谈Apache Spark的6个发光点(CSDN)

摘要：Spark是一个基于内存计算的开源集群计算系统，目的是更快速的进行数据分析。Spark由加州伯克利大学AMP实验室Matei为主的小团队使用Scala开发开发，其核心部分的代码只有63个Scala文件，非常轻量级。Spark提供了与Hadoop相似的开源集群计算环境，但基于内存和迭代优化的设计，... 阅读全文

posted @ 2015-05-04 21:47 xymaqingxiang 阅读(274) 评论(0) 推荐(0) 编辑

更快、更强——解析Hadoop新一代MapReduce框架Yarn（CSDN）

摘要：摘要：本文介绍了Hadoop 自0.23.0版本后新的MapReduce框架（Yarn)原理、优势、运作机制和配置方法等；着重介绍新的Yarn框架相对于原框架的差异及改进。编者按：对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop... 阅读全文

posted @ 2015-05-04 20:43 xymaqingxiang 阅读(700) 评论(0) 推荐(0) 编辑

Hadoop虽然强大，但不是万能的(CSDN)

摘要：Hadoop很强大，但企业在使用Hadoop或者大数据之前，首先要明确自己的目标，再确定是否选对了工具，毕竟Hadoop不是万能的！本文中列举了几种不适合使用Hadoop的场景。随着Hadoop应用的不断拓展，使很多人陷入了对它的盲目崇拜中，认为它能解决一切问题。虽然Hadoop是一个伟大的分布式大... 阅读全文

posted @ 2015-05-04 20:41 xymaqingxiang 阅读(368) 评论(0) 推荐(0) 编辑

十位一线专家分享Spark现状与未来----峰会摘录

摘要：CSDN大数据技术：十位一线专家分享Spark现状与未来（一）十位一线专家分享Spark现状与未来（二）十位一线专家分享Spark现状与未来（三）部分摘录：加州大学伯克利分校AMP实验室博士Matei Zaharia：Spark的现状和未来 ----（Matei Zaharia是加州大学伯克利分校A... 阅读全文

posted @ 2015-05-04 18:52 xymaqingxiang 阅读(656) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示