上一页 1 ··· 5 6 7 8 9 10 11 12 13 14 下一页
摘要: 原文地址:http://blog.csdn.net/opennaive/article/details/7483523 题记:初学分布式文件系统,写篇博客加深点印象。GFS的特点是使用一堆廉价的商用计算机支撑大规模数据处理。 虽然"The Google File System " 是03年发表的老文 阅读全文
posted @ 2017-03-27 16:19 hadoop_dev 阅读(718) 评论(0) 推荐(0) 编辑
摘要: 1、count统计结果错误 这是由于分布式集群正在迁移数据,它导致count结果值错误,需要使用aggregate pipeline来得到正确统计结果,例如: db.collection.aggregate([{$group: {_id: null, count: {$sum: 1}}}]) 引用: 阅读全文
posted @ 2017-03-20 16:06 hadoop_dev 阅读(815) 评论(0) 推荐(0) 编辑
摘要: 转:http://www.th7.cn/db/nosql/201510/135382.shtml 1. HDFS的文件append功能 早期版本的HDFS不支持任何的文件更新操作,一旦一个文件创建、写完数据、并关闭之后,这个文件就再也不能被改变了。为什么这么设计?是为了与MapReduce完美配合, 阅读全文
posted @ 2017-01-24 16:12 hadoop_dev 阅读(5445) 评论(0) 推荐(0) 编辑
摘要: 使用maven编译该项目: mvn clean package 运行:storm jar word-count-1.0.jar WordCountTopolopgyAllInJava 结果如下: hello word!moon 811hello word!an 829hello word!apple 阅读全文
posted @ 2017-01-23 17:33 hadoop_dev 阅读(861) 评论(0) 推荐(0) 编辑
摘要: 一、storm是一个用于实时流式计算的分布式计算引擎,弥补了Hadoop在实时计算方面的不足(Hadoop在本质上是一个批处理系统)。 二、storm在实际应用场景中的位置一般如下: 其中的编号1~5说明如下: 1、Flume用于收集日志信息; 2、结合数据传输功能可以把收集到的日志信息实时传输到k 阅读全文
posted @ 2017-01-22 14:44 hadoop_dev 阅读(3021) 评论(0) 推荐(1) 编辑
摘要: 本日志大部分都不是原创的转载复制的会带链接保持版权 工作中使用mongodb已经好久了,讽刺的是到了最后快离职的时候才有时间好好研究下源码。 印象:mongodb是一个内存数据库,数据都是放到内存里面的,所以速度上不比redis慢。 想法: mongodb对数据的操作大部分都在内存中。但mongod 阅读全文
posted @ 2017-01-18 15:56 hadoop_dev 阅读(10902) 评论(0) 推荐(2) 编辑
摘要: 转自:http://www.csdn.net/article/2014-06-12/2820196-Storm 摘要:实时计算一般都是针对海量数据进行的,一般要求为秒级。实时计算主要分为两块:数据的实时入库、数据的实时计算。今天这篇文章详细介绍了实时计算,流数据处理系统简介与简单分析。 编者按:互联 阅读全文
posted @ 2017-01-10 16:29 hadoop_dev 阅读(1341) 评论(0) 推荐(0) 编辑
摘要: 转自:http://blog.csdn.net/exceptional_derek/article/details/40384659 先看一段代码: Java代码 public class Locale { private final static Map<String, Locale> map = 阅读全文
posted @ 2017-01-06 15:11 hadoop_dev 阅读(5408) 评论(0) 推荐(0) 编辑
摘要: 转自:http://swiftlet.net/archives/1259 HashMap的遍历有两种方式,如下所示:第一种利用entrySet的方式: 1 2 3 4 5 6 7 Map map = new HashMap(); Iterator iter = map.entrySet().iter 阅读全文
posted @ 2017-01-06 11:00 hadoop_dev 阅读(2725) 评论(0) 推荐(0) 编辑
摘要: PS: 苦学一周全文检索,由原来的搜索小白,到初次涉猎,感觉每门技术都博大精深,其中精髓亦是不可一日而语。那小博猪就简单介绍一下这一周的学习历程,仅供各位程序猿们参考,这其中不涉及任何私密话题,因此也不用打马赛克了,都是网络分享的开源资料,当然也不涉及任何利益关系。 如若转载,还请注明出处——xin 阅读全文
posted @ 2017-01-03 17:09 hadoop_dev 阅读(1550) 评论(0) 推荐(0) 编辑
上一页 1 ··· 5 6 7 8 9 10 11 12 13 14 下一页