摘要：
本文导读：1 storm nimbus 单节点问题概述2 storm与解决nimbus单点相关的概念3 nimbus目前无法做到多节点的原因4 解决nimbus单点问题的关键5 业界对nimbus单点问题的努力6 nimbus单点问题的解决思路7 NimbusCloudStorage的实现8 总结：... 阅读全文
posted @ 2015-03-28 21:48 xymaqingxiang 阅读(882) 评论(0) 推荐(0) 编辑
摘要：
匈牙利命名法著名的命名规则当推Microsoft公司的"匈牙利"法，该命名规则的主要思想是"在变量和函数名中加入前缀以增进人们对程序的理解"。例如所有的字符变量均以ch为前缀，若是指针变量则追加前缀p。如果一个变量由ppch开头，则表明它是指向字符指针的指针。MFC、句柄、控件及结构的命名规范Windows类型样本变量MFC类样本变量HWNDhWnd；CWnd*pWnd；HDLGhDlg；CDialog*pDlg；HDChDC；CDC*pDC；HGDIOBJhGdiObj；CGdiObject*pGdiObj；HPENhPen；CPen*pPen；HBR 阅读全文
posted @ 2013-08-07 10:07 xymaqingxiang 阅读(1251) 评论(2) 推荐(2) 编辑
摘要：
在Linux终端直接输入storm，不带任何参数信息，或者输入storm help，可以查看storm命令行客户端(Command line client)提供的帮助信息。Storm 0.9.0.1版本在Linux终端直接输入storm后的输出内容如下：Commands:activateclassp... 阅读全文
posted @ 2015-05-15 09:39 xymaqingxiang 阅读(1865) 评论(0) 推荐(0) 编辑
摘要：
问题导读：1.你认为什么图形可以显示hadoop与storm的区别？（电梯）2.本文是如何形象讲解hadoop与storm的？（离线批量处理、实时流式处理）3.hadoop map/reduce对应storm那两个概念？（spout/bolt）4.storm流由谁来组成？（Tuples）5.tupl... 阅读全文
posted @ 2015-05-12 21:26 xymaqingxiang 阅读(604) 评论(0) 推荐(0) 编辑
摘要：
程学旗先生是中科院计算所副总工、研究员、博士生导师、网络科学与技术重点实验室主任。本次程学旗带来了中国大数据生态系统的基础问题方面的内容分享。大数据的发展越来越快，但是对于大数据的认知大都还停留在最初的阶段——大数据是一类资源、一类工具，其实“大数据”更多的体现的是一个认知和思维，是一种战略、认知和... 阅读全文
posted @ 2015-05-05 09:53 xymaqingxiang 阅读(500) 评论(0) 推荐(0) 编辑
摘要：
Hadoop科普文——常见的45个问题解答1.Hadoop集群可以运行的3个模式？单机（本地）模式伪分布式模式全分布式模式2.单机（本地）模式中的注意点？在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开发过... 阅读全文
posted @ 2015-05-05 09:45 xymaqingxiang 阅读(347) 评论(0) 推荐(0) 编辑
摘要：
大会召开前期，特别梳理了历届大会亮点以记录中国大数据技术领域发展历程，并立足当下生态圈现状对即将召开的BDTC 2014进行展望：追本溯源，悉大数据六大技术变迁伴随着大数据技术大会的发展，我们亲历了中国大数据技术与应用时代的到来，也见证了整个大数据生态圈技术的发展与衍变：1. 计算资源的分布化——从... 阅读全文
posted @ 2015-05-05 09:40 xymaqingxiang 阅读(774) 评论(0) 推荐(0) 编辑
摘要：
在大数据时代，数据规模变得越来越大。由于数据的增长速度和非结构化的特性，常用的软硬件工具已无法在用户可容忍的时间内对数据进行采集、管理和处理。本文主要介绍如何在阿里云上使用Kafka和Storm搭建大规模消息分发和实时数据流处理系统，以及这个过程中主要遭遇的一些挑战。实践主要立足建立一套汽车状态实时... 阅读全文
posted @ 2015-05-04 22:09 xymaqingxiang 阅读(3598) 评论(1) 推荐(0) 编辑
摘要：
Spark是一个基于内存计算的开源集群计算系统，目的是更快速的进行数据分析。Spark由加州伯克利大学AMP实验室Matei为主的小团队使用Scala开发开发，其核心部分的代码只有63个Scala文件，非常轻量级。Spark提供了与Hadoop相似的开源集群计算环境，但基于内存和迭代优化的设计，... 阅读全文
posted @ 2015-05-04 21:47 xymaqingxiang 阅读(273) 评论(0) 推荐(0) 编辑
摘要：
摘要：本文介绍了Hadoop 自0.23.0版本后新的MapReduce框架（Yarn)原理、优势、运作机制和配置方法等；着重介绍新的Yarn框架相对于原框架的差异及改进。编者按：对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop... 阅读全文
posted @ 2015-05-04 20:43 xymaqingxiang 阅读(696) 评论(0) 推荐(0) 编辑
摘要：
Hadoop很强大，但企业在使用Hadoop或者大数据之前，首先要明确自己的目标，再确定是否选对了工具，毕竟Hadoop不是万能的！本文中列举了几种不适合使用Hadoop的场景。随着Hadoop应用的不断拓展，使很多人陷入了对它的盲目崇拜中，认为它能解决一切问题。虽然Hadoop是一个伟大的分布式大... 阅读全文
posted @ 2015-05-04 20:41 xymaqingxiang 阅读(365) 评论(0) 推荐(0) 编辑