分享一下淘宝iData技术嘉年华的几点感触

摘要：

昨天参加了iData技术嘉年华的技术沙龙，分享一下自己的见闻和一点感触

本次主题：

《企业中的海量数据处理》

主要有三个主讲，

不写文字了，直接上图片吧

主讲内容

第一场：主讲HBase

之前为了听讲座自己专门到网上百度了一下HBase的一点知识，具体自己没有使用过，在这里简单的说一下Hbase：

HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。

主讲内容：林昊首先介绍了淘宝在使用HBase遇到的一些问题和bug，自己没有使用过，所以印象也不深，接下来就是一些建议和总结了；

• 关于使用HBSASE的使用场景建议：

1. HBase技术现在相当于1.0版本之前的关系型数据库（HBase技术还处于一个较弱的技术阶段，相对应比较成熟的关系型数据库技术还是有许多不足）
2. 瞬间写入量很大的作业（业务侧重写操作的作业）
3. 数据量需要长久保存且持续增长的场景（例如淘宝的数据需要保存十年，hbase可以很容易的在廉价的pc 服务器上搭建集群，在淘宝上的应用是买家三个月之前的订单信息，就是使用HBASE技术）

• 淘宝总结的HBSASE经验：

1. 合理设计rowKey（有很多问题通过合理的设计rowkey可以避免）
2. 数据备份和恢复机制（HBASE有个bug，很容易造成数据丢失，最新版本可能解决这个问题）
3. 关闭split 同时region数量也不要太多

最后说了一下在HBASE技术在行业的应用和发展趋势；排名前十的网站，大概除了谷歌，百度，腾讯（未知）基本上都使用了HBASE技术，而且hbase技术在国外很火，相信国内的这个hbase技术也会热起来。

 

PS:第二场主讲的信息量很大，基本上没有听懂，自己也没有什么印象

第三场：主讲网易的大型架构

汪院长在主讲的时候很谦虚的说：自己的数据量没有淘宝大，没有使用hbase，

• 网易架构和数据处理分享

1. 底层的pc Server都是使用低价的服务器
2. websever使用了nginx做反向代理，web缓存好像是squid（这个没有听清）
3. 数据库是mysql，不过网易自己搞了一个数据库引擎（在讲解的时候也有一个对比：这个引擎相对应mysql InnoDB引擎是他的十倍，是mencache+mysql的三四倍）
4. memcache网易也是使用的，在一定程度上缓解数据库压力
5. 关于NOsql，网易还是习惯使用比较成熟的关系型数据库，对nosql的数据库使用的不是很多，汪院长也解释到网易现在使用Tokyo Cabinet，主要是insert的效率很高，每秒可以达到数万级别的插入，但是update的操作很差，目前没有使用比较流行的mongodb
6. 。。。。。。（记不清了，哈哈）

题外话

淘宝的讲座主要还是新技术的使用，相对应网易，整体感觉网易的讲座，没有太多的新型应用，不过把现有的资源和技术发挥到极致其实也很牛逼,把这两家企业的讲座对比起来确实很有意思

个人对两家讲座的感觉

1. 淘宝很有创新精神，喜欢新技术
2. 网易很保守，善于把现有技术做透

ps：这里顺便说一下两家公司的创始人给我的印象：

1. 马云：很激情，很能侃，大学的时候经常看赢在中国，印象很深，马云也经常跑到高校演讲，被誉为创业教父，很能侃也很能感染人不愧是教师出身（虽然哥哥我也是师范专业，但是这点哥哥我自愧不如，只能到博客园写篇博客，供大家哈哈一笑）
2. 丁磊：沉稳低调，很少看到丁磊在公开场合做演讲，虽然丁磊曾经拿过一个中国首富，估计大家对着首富印象也不是很深，太低调太沉稳了，很是网易的风格，求稳慢性子，丁磊是搞程序出身，这个点体现的很突出

总结：

1. 公司的创始人确实很能影响整个公司的发展趋势，如马云激情，淘宝在新技术上的创新，是一家高调做事的公司，丁磊低调，网易在技术上的以现有技术为主，另外还有一点：网易虽然排不上中国互联网前三强，但是要论收入的话，网易绝对是前三，是一家埋头挣钱的公司。

　　BTY:找工作的时候也需要看老板，公司老板在一定程度上影响这个公司发展趋势和风格

　　2.关于新技术，老技术的看法：新技术是一种趋势，需要大家去推动，同样现有的成熟技术也不能忽略，也需要大家做深做透，不可一味的求新，现有的成熟技术也很重要，具体是采用哪种技术，需要根据目前的项目来评估，切忌为了采取新技术而采取新技术。

最后的ps：杭州的交通太堵了，尤其是莫干山往西湖风景区的公交车，基本上到了变态级别的地步，在站台等车，公交信息离本站还有5分钟/1250m，这1250m让我整整等了40分钟，对此我深深的无语窒息了。。。。

Technorati 标签: HBase问题,淘宝技术嘉年华,Nosql,网易架构,马云,丁磊

，hadoop,PHP10086