2015年12月28日
zookeeper原理
摘要： ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些... 阅读全文
posted @ 2015-12-28 22:06 wicrenet 阅读(175) 评论(0) 推荐(0) 编辑
用PHP编写Hadoop的MapReduce程序
摘要： 用PHP写hadoop的mapreduce程序Hadoop本身是Java写的，所以，给hadoop写mapreduce，人们会自然地想到java但hadoop里面有个contrib叫做hadoop streaming，这是一个小工具，为hadoop提供streaming支持，使得任何支持标准IO (... 阅读全文
posted @ 2015-12-28 19:58 wicrenet 阅读(417) 评论(0) 推荐(0) 编辑
2015年12月27日
谷歌技术"三宝"之BigTable
摘要： 2006年的OSDI有两篇google的论文，分别 是BigTable和Chubby。Chubby是一个分布式锁服务，基于Paxos算法；BigTable是一个用于管理结构化数据的分布式存储系统， 构建在GFS、Chubby、SSTable等google技术之上。相当多的google应用使用了Big... 阅读全文
posted @ 2015-12-27 23:30 wicrenet 阅读(299) 评论(0) 推荐(0) 编辑
谷歌技术"三宝"之MapReduce
摘要： 江湖传说永流传：谷歌技术有"三宝"，GFS、MapReduce和大表（BigTable）！谷歌在03到06年间连续发表了三篇很有影响力的文章，分别是03年SOSP的GFS，04年OSDI的MapReduce，和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议，在计算机学... 阅读全文
posted @ 2015-12-27 23:29 wicrenet 阅读(183) 评论(0) 推荐(0) 编辑
谷歌技术"三宝"之谷歌文件系统
摘要： 题记：初学分布式文件系统，写篇博客加深点印象。GFS的特点是使用一堆廉价的商用计算机支撑大规模数据处理。虽然"The Google File System "是 03年发表的老文章了，但现在仍被广泛讨论，其对后来的分布式文件系统设计具有指导意义。然而，作者在设计GFS时，是基于过去很多实验观察的，并... 阅读全文
posted @ 2015-12-27 23:24 wicrenet 阅读(890) 评论(0) 推荐(0) 编辑
实现输出h264直播流的rtmp服务器 flash直播服务器
摘要： 实现输出h264直播流的rtmp服务器 RTMP（Real Time Messaging Protocol）是常见的流媒体协议，用来传输音视频数据，结合flash，广泛用于直播、点播、聊天等应用，以及pc、移动、嵌入式等平台，是做流媒体开发经常会接触到的协议。我之前曾经写过一篇文章“RTMP协议发... 阅读全文
posted @ 2015-12-27 22:27 wicrenet 阅读(258) 评论(0) 推荐(0) 编辑
HTTP Live Streaming直播（iOS直播）技术分析与实现
摘要： HTTP Live Streaming直播(iOS直播)技术分析与实现 不经意间发现，大半年没写博客了，自觉汗颜。实则2012后半年，家中的事一样接着一样发生，实在是没有时间。快过年了，总算忙里偷闲，把最近的一些技术成果，总结成了文章，与大家分享。 前些日子，也是项目需要，花了一些时间研究了HT... 阅读全文
posted @ 2015-12-27 22:24 wicrenet 阅读(318) 评论(0) 推荐(0) 编辑