摘要： 用hdfs存储海量的视频数据存储海量的视频数据，主要考虑两个因素：如何接收视频数据和如何存储视频数据。我们要根据数据block在集群上的位置分配计算量，要充分利用带宽的优势。１．接收视频数据将从摄像头接收到的或通过模拟产生的视频流以文件的形式存储在本地文件夹，在这个过程中不产生任何中间文件。２．海量视频数据存储存储海量视频数据的思路：通过hadoop提供的api结构，实现将接收到的视频流文件从本地上传到hdfs中。在这一过程中，把接收到的视频文件不断地存储到一个指定的本地文件夹中，而这个本地文件夹是在不断动态变换的，这时，将这个动态变化的文件夹当成是一个“缓冲区”，把“缓冲区”中的文件以流的形 阅读全文

摘要： 一.Hive应用场景本文主要讲述使用 Hive 的实践，业务不是关键，简要介绍业务场景，本次的任务是对搜索日志数据进行统计分析。集团搜索刚上线不久，日志量并不大 。这些日志分布在 5 台前端机，按小时保存，并以小时为周期定时将上一小时产生的数据同步到日志分析机，统计数据要求按小时更新。这些统计项，包括关键词搜索量 pv ，类别访问量，每秒访问量 tps 等等。基于 Hive ，我们将这些数据按天为单位建表，每天一个表，后台脚本根据时间戳将每小时同步过来的 5 台前端机的日志数据合并成一个日志文件，导入 Hive 系统，每小时同步的日志数据被追加到当天数据表中，导入完成后，当天各项统计项将被重新 阅读全文

摘要： 有时候了解软件产品的最好方法是看看它是怎么用的。它可以解决什么问题和这些解决方案如何适用于大型应用架构，能够告诉你很多。因为HBase有许多公开的产品部署，我们正好可以这么做。本章节将详细介绍一些人们成功使用HBase的使用场景。注意：不要自我限制，认为HBase只能解决这些使用场景。它是一个初生的技术，根据使用场景进行创新正驱动着系统的发展。如果你有新想法，认为可以受益于HBase提供的功能，试试吧。社区很乐于帮助你，也会从你的经验中学习。这正是开源软件精神。HBase仿效了Google的BigTable，让我们开始探索典型的BigTable问题：存储互联网。典型互联网搜索问题：BigTab 阅读全文

摘要： 借六龟儿，我的最爱，小时候捉了放在坛子里腌着 ，抓了还可以卖1毛一个，有厉害的人一晚上可以抓两百多。现在贵了，都成了宾馆里的佳肴。 我们那时叫它淹尤，呵呵，就是这个谐音，那甜甜的感觉，在记忆里那般绵长，直到现在回到老家，院子里还可以看到星星落落的几株，摘下几个放在嘴里，慢慢回味儿时的记忆。 谷荻，我们那里叫茶茵，儿时那种乐此不疲的留恋，那剥开外皮，里面嫩嫩的草芽，能嚼出一嘴的绿汁，那一嘴柔柔的青草香。 槐花儿，那么香甜，从树上劈下一个枝杈，边走边吃，妈妈会拿来给我们蒸着吃，都成了记忆。 茅根，茅草的根，甜甜的，小时候刨回很多，它当成甘蔗来吃，现在找不到那种儿时的乐趣了。 蚂蚱，秋收的时候，捉. 阅读全文

摘要： 经常见站长论坛有人提到选哪个CMS好，最近也又有朋友在51LA站长群里问到PHPCMS和帝国CMS比较选哪个好的问题，所以落叶今天从PHPCMS及帝国CMS对比的角度来谈谈站长应该如何选择适合自己的CMS。落叶自诩对现在主流CMS及建站程序还是有足够多了解的，从接触混互联网开始使用过的并且作过小量二次开发的CMS和建站程序有早期的动易siteweaver、DEDECMS、PHPCMS2008、帝国CMS、科讯CMS、无忧CMS、风讯CMS 、DISCUZ、UCHOME、HDWIKI、新云CMS等（以前负责的一个网站是Siteweaver+2*PHPCMS+HDWIKI+DISCUZ7.0+UC 阅读全文