摘要： 最近一段时间一直在从事和hadoop相关的工作，主要是技术内容学习、安装配置优化以及一些框架结构的设计。在此期间，我对于RDBMS和Hadoop的结合应用有了一些自己的看法，写出来大家共同探讨一下。1、为什么要用Hadoop这个在网上已近有很多的人说过这个问题，我在这里就不多述了。但是我想说下，对于一个工具而言，只有最合适的应用场景没有最牛的工具。hadoop对我而言也只是一个工具，所以，更多的时候我是从业务角度出发去考虑hadoop能给我带来什么。2、RDBMS？RDBMS是关系型数据库英文缩写，但对于我而言，就是oracle（因为我现在的公司用就是）。关于RDBMS和NOSQL谁更好这个话 阅读全文

摘要： 这篇文章主要介绍了使用hadoop的API对HDFS上的文件访问，其中包括上传文件到HDFS上、从HDFS上下载文件和删除HDFS上的文件,需要的朋友可以参考下hdfs文件操作操作示例，包括上传文件到HDFS上、从HDFS上下载文件和删除HDFS上的文件，大家参考使用吧复制代码 代码如下:import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import java.io.File;import java.io.IOException;public class HadoopFile { priva... 阅读全文

摘要： 用hdfs存储海量的视频数据存储海量的视频数据，主要考虑两个因素：如何接收视频数据和如何存储视频数据。我们要根据数据block在集群上的位置分配计算量，要充分利用带宽的优势。１．接收视频数据将从摄像头接收到的或通过模拟产生的视频流以文件的形式存储在本地文件夹，在这个过程中不产生任何中间文件。２．海量视频数据存储存储海量视频数据的思路：通过hadoop提供的api结构，实现将接收到的视频流文件从本地上传到hdfs中。在这一过程中，把接收到的视频文件不断地存储到一个指定的本地文件夹中，而这个本地文件夹是在不断动态变换的，这时，将这个动态变化的文件夹当成是一个“缓冲区”，把“缓冲区”中的文件以流的形 阅读全文

摘要： 一.Hive应用场景本文主要讲述使用 Hive 的实践，业务不是关键，简要介绍业务场景，本次的任务是对搜索日志数据进行统计分析。集团搜索刚上线不久，日志量并不大 。这些日志分布在 5 台前端机，按小时保存，并以小时为周期定时将上一小时产生的数据同步到日志分析机，统计数据要求按小时更新。这些统计项，包括关键词搜索量 pv ，类别访问量，每秒访问量 tps 等等。基于 Hive ，我们将这些数据按天为单位建表，每天一个表，后台脚本根据时间戳将每小时同步过来的 5 台前端机的日志数据合并成一个日志文件，导入 Hive 系统，每小时同步的日志数据被追加到当天数据表中，导入完成后，当天各项统计项将被重新 阅读全文

摘要： 有时候了解软件产品的最好方法是看看它是怎么用的。它可以解决什么问题和这些解决方案如何适用于大型应用架构，能够告诉你很多。因为HBase有许多公开的产品部署，我们正好可以这么做。本章节将详细介绍一些人们成功使用HBase的使用场景。注意：不要自我限制，认为HBase只能解决这些使用场景。它是一个初生的技术，根据使用场景进行创新正驱动着系统的发展。如果你有新想法，认为可以受益于HBase提供的功能，试试吧。社区很乐于帮助你，也会从你的经验中学习。这正是开源软件精神。HBase仿效了Google的BigTable，让我们开始探索典型的BigTable问题：存储互联网。典型互联网搜索问题：BigTab 阅读全文

摘要： 借六龟儿，我的最爱，小时候捉了放在坛子里腌着 ，抓了还可以卖1毛一个，有厉害的人一晚上可以抓两百多。现在贵了，都成了宾馆里的佳肴。 我们那时叫它淹尤，呵呵，就是这个谐音，那甜甜的感觉，在记忆里那般绵长，直到现在回到老家，院子里还可以看到星星落落的几株，摘下几个放在嘴里，慢慢回味儿时的记忆。 谷荻，我们那里叫茶茵，儿时那种乐此不疲的留恋，那剥开外皮，里面嫩嫩的草芽，能嚼出一嘴的绿汁，那一嘴柔柔的青草香。 槐花儿，那么香甜，从树上劈下一个枝杈，边走边吃，妈妈会拿来给我们蒸着吃，都成了记忆。 茅根，茅草的根，甜甜的，小时候刨回很多，它当成甘蔗来吃，现在找不到那种儿时的乐趣了。 蚂蚱，秋收的时候，捉. 阅读全文

摘要： 经常见站长论坛有人提到选哪个CMS好，最近也又有朋友在51LA站长群里问到PHPCMS和帝国CMS比较选哪个好的问题，所以落叶今天从PHPCMS及帝国CMS对比的角度来谈谈站长应该如何选择适合自己的CMS。落叶自诩对现在主流CMS及建站程序还是有足够多了解的，从接触混互联网开始使用过的并且作过小量二次开发的CMS和建站程序有早期的动易siteweaver、DEDECMS、PHPCMS2008、帝国CMS、科讯CMS、无忧CMS、风讯CMS 、DISCUZ、UCHOME、HDWIKI、新云CMS等（以前负责的一个网站是Siteweaver+2*PHPCMS+HDWIKI+DISCUZ7.0+UC 阅读全文

摘要： 关系数据库模型已经流行了几十年了，但是一种新类型的数据库——被称为NoSQL，正在引起企业的注意。下面是关于它的优势和劣势的一个概述。二十多年以来，对数据库管理来说，关系数据库（RDBMS）模型一直是一个占统治地位的数据库模型。AD：51CTO学院：IT精品课程在线看！关系数据库模型已经流行了几十年了，但是一种新类型的数据库——被称为NoSQL，正在引起企业的注意。下面是关于它的优势和劣势的一个概述。二十多年以来，对数据库管理来说，关系数据库（RDBMS）模型一直是一个占统治地位的数据库模型。但是，今天，非关系数据库，“云”数据库，或“NoSQL”数据库作为关系数据库以外的一些选择，正在引起大 阅读全文

摘要： 原始网址:http://hi.baidu.com/i1see1you/item/783a701f39a87549e75e06ea1.Mongodb bson文档型数据库，整个数据都存在磁盘中，hbase是列式数据库，集群部署时每个familycolumn保存在单独的hdfs文件中。2.Mongodb 主键是“_id”,主键上面可以不建索引,记录插入的顺序和存放的顺序一样，hbase的主键就是row key，可以是任意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes)，在hbase内部，row key保存为字节数组。存储时，数据按照Row key的字典序(byte or 阅读全文

摘要： 转载：http://leongfans.iteye.com/blog/1019383昨天搜一下mongodb的资料，介绍应用的比较多，原理介绍的不多。粗略得看了一下，总体来说两者的设计思路差不多，主要就是通过划区间去分布数据，后台进程进行数据分裂两者的区别主要在于：1、HBase依赖于HDFS；MongoDB直接存储在本地磁盘中2、HBase按照列族将数据存储在不同的文件中；MongoDB不分列，整个文档都存储在一个（或者说一组）文件中，通过一个有一个通用的.ns文件保存名称空间（Column-based和Document-Based之间的区别应该是指这个地方吧）3、HBase一个region 阅读全文