03 2014 档案

摘要:Hbase:全名HadoopDataBase,是一种开源的,可伸缩的,严格一致性(并非最终一致性)的分布式存储系统。具有最理想化的写和极好的读性能。它支持可插拔的压缩算法(用户可以根据其列族中的数据特性合理选择其压缩算法),充分利用了磁盘空间。类似于Google的BigTable,其分布式计算采用MapReduce,通过MapReduce完成大块的数据加载和全表扫描操作等。文件存储系统采用HDFS,通过Zookeeper来完成状态管理协同服务。不过BigTable只支持一级索引,Hbase不仅支持一级索引,还支持二级索引。需要指出的是:很多人都认为Hbase是面向列的数据库,其实不是。从典型的 阅读全文
posted @ 2014-03-31 19:34 TheBug 阅读(788) 评论(0) 推荐(0) 编辑
摘要:我们在程序定位问题时,经常不知所错,但是在linux有很多强大的工具,只要我们合理利用,一定见奇效。主要会遇到以下问题:1 mem高2 cpu高3 io高4 网络延迟高vargrind:https://www.ibm.com/developerworks/cn/linux/l-cn-valgrind/perf:https://www.ibm.com/developerworks/cn/linux/l-cn-perf1/ 阅读全文
posted @ 2014-03-28 23:39 TheBug 阅读(1124) 评论(0) 推荐(1) 编辑
摘要:今天为大家介绍几个奇葩的C/C++问题。1 大家看看下面的输出结果是什么呢? #include #include void main(int j) { printf("%d\n", j); (&main + (&exit - &main)*(j/1000))(j+1);}输出结果为:1 2...1000.大家想清楚为什么了吗?其实在j为1<=j<1000的时候&main + (&exit - &main)*(j/1000)=&main,在j=1000时候,(&main + (&exit - 阅读全文
posted @ 2014-03-20 22:53 TheBug 阅读(570) 评论(0) 推荐(0) 编辑
摘要:1 启动HBase shell2 HBase shell 命令3 我们将以“一个学生成绩表”的例子来详细介绍常用的 HBase 命令及其使用方法。这里 grad 对于表来说是一个列,course 对于表来说是一个列族,这个列族由三个列组成 china、math 和 english,当然我们可以根据我们的需要在 course 中建立更多的列族,如computer,physics 等相应的列添加入 course 列族。(备注:列族下面的列也是可以没有名字的。) 4 create命令建立表格scores,包含列族grad、course5 list 命令查看当前 HBase 中具有哪些表。6 desc 阅读全文
posted @ 2014-03-19 11:31 TheBug 阅读(1198) 评论(0) 推荐(0) 编辑
摘要:1典型互联网搜索问题:BigTable发明的原因搜索使用场景1)爬虫持续不断地抓取新页面,这些页面每页一行地存储到HBase里。2)MapReduce计算作业运行在整张表上,生成索引,为网络搜索应用做准备。3)用户发起网络搜索请求。4)网络搜索应用查询建立好的索引,或者直接从HBase直接得到单个文档。5)搜索结果提交给用户。2捕获增量数据OpenTSDB(OpenTimeSeriesDatabase)用来收集服务器的各种监控参数。按照时间收集参数一般称之为时间序列数据:也就是说,按照时间顺序收集和记录数据。这个框架使用HBase作为核心平台来存储和检索所收集的参数。创建这个框架的目的是为了拥 阅读全文
posted @ 2014-03-18 20:59 TheBug 阅读(801) 评论(0) 推荐(0) 编辑
摘要:Binary Search Tree(二叉查找树、二叉排序树、二叉搜索树)指一棵空树或者具有下列性质的二叉树:1)若任意节点的左子树不空,则左子树上所有结点的值均小于它的根结点的值;2)任意节点的右子树不空,则右子树上所有结点的值均大于它的根结点的值;3)任意节点的左、右子树也分别为二叉查找树。4)... 阅读全文
posted @ 2014-03-16 18:38 TheBug 阅读(1292) 评论(1) 推荐(1) 编辑

点击右上角即可分享
微信分享提示