|
|||
|
摘要：
一直在找这个sun-java6-jdk 这个安装文件，从外国一位网友的以reply post 里面发现了一个回答looks like oracle just changed the package names to get ride of 'sun' from the name原来是oracle 收购sun后，做的一个去sun化(去蒋化)的一个举措。。。。。。华丽的分割线。 我总是做很多猜想，往往答案与我预想的差不多。 阅读全文
posted @ 2012-01-09 16:49 陈力 阅读(387) 评论(0) 推荐(0) 编辑
摘要：
假如我将我要分割的文本,分布到多台机器上就行统计词频率最后的统计,是不是还是会把统计结果发到一台机器,来统计频率,肯定这样做法就不行的,那么mapreuce是如何来统计的呢?mapping和reducing函数不是仅接收数值（Values），而是（键，值）对。这些函数的每一个输出都是一样的：都是一个键和一个值，它们将被送到数据流的下一个列表。 对于Mapper和Reducer是如何工作的，MapReduce没有像其它语言那样严格。在更正式的函数式mapping和reducing设置中，mapper针对每一个输入元素都要生成一个输出元素，reducer针对每一个输入列表都要生成一个输出元素。但. 阅读全文
posted @ 2012-01-09 12:17 陈力 阅读(725) 评论(0) 推荐(0) 编辑
摘要：
This is a tutorial on how to run a map reduce job on Hbase. This covers version 0.20 and later.Recommended Readings:-Hbase home,-Hbase map reduce Wiki-Hbase Map Reduce Package- Greatintro to Hbase map reduceby George LarsVERSION DIFFERENCEHadoop map reduce API changed around v0.20. So did Hbase map 阅读全文
posted @ 2012-01-06 16:49 陈力 阅读(1337) 评论(0) 推荐(0) 编辑
摘要：
对于HBase这种类似BigTable的系统，其优化之一是消除了磁盘的随机写。付出的代价是将最新的数据保存在内存表中，对内存有较大的需求。如果内存表的数量较多，则每个内存表就会在较小的时候刷到磁盘，导致磁盘文件多而且小。范围读取数据的时候就会跨多个数据文件甚至多个节点。为提升读性能，系统都会设计有compaction操作。另外为了防止某些情况下数据文件过大（hbase.hregion.max.filesize，默认256M，太大的数据文件在compaction等操作是对内存的消耗更大），HBase也设计了split操作。Compaction和Split操作，对于在线应用的响应时间都容易造成波动 阅读全文
posted @ 2012-01-06 15:45 陈力 阅读(1042) 评论(0) 推荐(0) 编辑
摘要：
HBase中的Client如何路由到正确的RegionServer在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个Region，那么它是如何找到相应的RegionServer的？本文就是在研究源码的基础上揭秘这个过程。在前面的文章“HBase存储架构”中我们已经讨论了HBase基本的存储架构。在此基础上我们引入两个特殊的概念：-ROOT- 阅读全文
posted @ 2012-01-06 15:31 陈力 阅读(3067) 评论(0) 推荐(1) 编辑
摘要：
第一部分、mapreduce模式与hadoop框架深入浅出架构扼要 想读懂此文，读者必须先要明确以下几点，以作为阅读后续内容的基础知识储备：Mapreduce是一种模式。Hadoop是一种框架。Hadoop是一个实现了mapreduce模式的开源的分布式并行编程框架。 所以，你现在，知道了什么是mapreduce，什么是hadoop，以及这两者之间最简单的联系，而本文的主旨即是，一句话概括：在hadoop的框架上采取mapreduce的模式处理海量数据。下面，咱们可以依次深入学习和了解mapreduce和hadoop这两个东西了。Mapreduce模式 前面说了，mapreduce是一种模式， 阅读全文
posted @ 2012-01-06 14:57 陈力 阅读(1899) 评论(0) 推荐(0) 编辑
摘要：
1，通过Zookeeper定位目标Region Server，最后定位Region。2，Region Server扩容，通过将自身发布到Master，Master均匀分布。Cassandra和HBase主要设计思路对比CassandraHBase一致性Quorum NRW策略通过Gossip协议同步Merkle Tree，维护集群节点间的数据一致性单节点，无复制，强一致性可用性1，基于Consistent Hash相邻节点复制数据，数据存在于多个节点，无单点故障。2，某节点宕机，hash到该节点的新数据自动路由到下一节点做 hinted handoff，源节点恢复后，推送回源节点。3，通过Go 阅读全文
posted @ 2012-01-06 11:58 陈力 阅读(1699) 评论(0) 推荐(0) 编辑
摘要：
我在2011年,通过游泳,跑步,骑自行车,去健身俱乐部,修复了部分身体因为长期在办公室的一些职业病。长期不运动，当人需要运动时，你会发现各种不舒服的症状出现，当你回到办公环境，似乎又正常了。 大学时期经常打球，运动，喜欢这里跑，那里跑，当你工作的时候，你会发现你有做不完的事，一件压一件的过来，这样长期的工作环境，会让你身体素质下降。 回想一下，自己如果不是在2011年，通过这些恢复性训练。自己可能已经是张孝祥了。总之，就是希望所有的亲人，好朋友们，同事们，在新的一年，健健康康，顺心如意。 阅读全文
posted @ 2012-01-04 16:34 陈力 阅读(199) 评论(0) 推荐(0) 编辑
摘要：
化繁就简,迎接2012的第一天!在下载网络图片的时候,一块很大的图片,你当然不可能一次下载完成,当然要块byte再紧接着块byte的下载问题由此产生.....问题代码如下:using (var stream = response.GetResponseStream()) { int length = (int)response.ContentLength; byte[] bytes = new byte[length]; int numBytesToRead = (int)length; int numBytesRead = 0; int readcount = 2000; while (nu 阅读全文
posted @ 2012-01-01 12:29 陈力 阅读(543) 评论(0) 推荐(0) 编辑 |
|||
