2013中国软件技术大会 参会笔录及感想
2013中国软件技术大会 参会笔录及感想
参加完北京举行的软件技术大会,有感而发;
大会会期两天,12.13-12.14;
13日上午只有一个主会场,看看主会场的演讲主题,再看看出钱最多的赞助商,我们知道,一上午将都是广告;
会议安排表:http://www.softcon.cn/schedule.asp
做广告
赞助厂商众多,在这个宣传的结点上,各大厂商都使出吃奶的力气;
根据出钱的多少,细分为白金赞助和金牌赞助、让人不竟联想到医药行业的会议;
医药的会议,都是药商出钱,给你吃好喝好,让你对他们的药产生良好的印象,最终目的就是为了你能够在处方单上写上他们家的产品;
主会场PPT的形式是多样的,有赤裸裸的形式,比如NEC,全篇都是对公司的介绍,毫不考虑听众的感受,横竖土豪一个:怎么着,老爷我出了这么多钱赞助,你们都给我乖乖听好了,不许放屁;
当然,也有用心之作, 王昊的《空间信息平台让您的软件更智慧》,赢得了不少掌声;演讲精彩, PPT赏心悦目,不断抛出的观点给大家带来了新思维,同时,也记住了你的产品;
质量
两天下来,真正有用的干货有限,没有那种心潮澎湃的激动,也没有发现新大陆的兴奋;
细细想来,可能是因为对这个会议的期望过高; 可能就是厂商为了广告、为了宣传他们的产品,搞得这么一个会,让大家来聚一次,至于什么深奥的话题,观点的碰撞,ok,是我想多了;
我这边主要关注大数据和架构的话题,两天的时间,找感兴趣的重点听了3场,其余的都是走马观花;
下面是这3场的笔录;
Orace数据库整合解决方案
副标题是:从PDB到In-memory选件
演讲人:盖国强
程序员出生,毕业之后DBA方向,目前是ACE中国总监。
ACE这个荣誉称号都是拿出来吓人的,一般他们都会跟外行的人加上一句:目前中国区拿到ACE的有二十来人;
数据整合
用阿里巴巴作为例子,阿里最近几年的频繁收购就是一个数据积累和聚集的过程;
收购,再免费开放,用户获得了优惠,阿里获取了用户的信息;
收购虾米音乐,获得2000万用户;
收购丁丁优化,获得3000万用户;
入股新浪微博,获取5.3亿用户;
还有穷游的和墨迹的1.3亿用户,都是阿里争取到的宝贝;
有了数据,接下里就是整合;
通过整合的数据,通过数据运营,来实现数据的增值;
例子:
1.为金融提供支持~个人授信业务
根据淘宝网店的交易记录,为其融资借贷提供有力的支撑;
2.淘宝向向世纪佳缘提供个人消费信用接口API
给这么一个场景,在世纪佳缘上,一姑娘相中一小伙了,条件都不错,但是,他的背景是否都是真实的呢?会不会是个骗子呢?ok,请给我看看你过去一年的淘宝消费记录,屌丝还是高富帅一目了然;
这朋友讲的很随意,在会务人员提示还有10分钟的时候才发现还没有进入主题;
他说到,每年都会来这个大会上演讲一次,但仅仅是讲了而已;
至少,我们能确定,这堂课,他是没有做什么准备;
阿里CDN架构演变
演讲人:余庆
阿里巴巴技术专家,FastDFS创始人
阿里CDN架构演变的3个阶段:
1.LVS + HAProxy + Squid
2.LVS + HAProxy + ATS
3.LVS + ATS Cluster
Squid的优点:
协议兼容性好,功能完善;
同时,对大文件支持好;
缺点:
进程模式,配置和管理复杂;
针对多处理器的性能不好;
Coss索引结构导致重启慢;
HAProxy的优点:
事件驱动、单一进程模型,支持大并发;
缺点:
不支持插件;
阿里内部对HAProxy的主要改进点:
1.支持后端长连接
2.实现RAM Cache,支持热点数据;
3.实现ACL,支持鉴权;
到第三阶段,将架构层扁平化,LVS 后直接接入ATS 集群(集群规模为10个结点组成一个集群);
Apache Traffic Server(ATS),高性能开源的Cache Server;
支持正向代理和反向代理;
基于事件驱动,采用多线程模型;
支持裸盘,重启速度快;
扩展性好,支持插件开发(很容易按业务扩展)
阿里的改进基于ATS3.2版本,对于Cluster的改进:
1.连接复用;
2.高效的session管理;
3.数据接受使用epool管理(linux内核层)
4.采用直接发送数据的方式;
有个小插曲,在他们做优化效果的压力测试时,到一定值后再怎么优化也无法继续提高;
最后发现原来是网卡驱动不给力,升级之后万事大吉;
大数据--数据库的第二次浪潮
演讲者:卢东明
SAP公司全球数据库部门亚太技术总监
微博:@明说大数据
听卢老师的课很是享受,语言通俗,示例生动,如听故事一般,1个半小时一晃而过,回味良久;
计算机的发展按10年来划分,我们发现每个10年都有集中发力的领域:
70年代 大家都在做操作系统
80年代 开始做数据库,89年Oracle达到一次高峰,Sybase的业务也如火如荼的开展,要不是94年的致命决策,也不会成就Oracle当今的一家独大;
90年代 互联网崛起
00年代的尾巴上,移动互联网风生水起,APP的开发成为主流
10年代 会是大数据?谁也说不准,唯有拭目以待。
观点:
到2020,80%数据库都将转为以内存作为主媒体,以flash作为存储备份的方向;
当今数据库市场
-
行式数据库
关系型数据库仍然占据着主流市场; -
列式数据库
在解决大数据的问题上,列式数据库向前迈出了一大步; -
内存数据库
随着互联网的兴起,大并发的访问需求造成了当今内存数据库的繁荣; -
嵌入式数据库
- 面向对象数据库
- 数据流处理数据库
- 非结构化数据库
重点讲解了列式数据库和数据流分析:
列式数据库
列式数据库在存储上能将存储容量降低一个数量级,
同时,提供高效的查询。
示例:
美国报税部门,使用行式数据库,存储每年的税务记录,达到PB级别;
在民众把税都报上去后,其监控是否有漏税的软件加载和分析的时间需要4-8周;
而采用列式数据库后,税务存储记录降到190TB;
加载和分析的时间降到4个小时;
数据流分析CEP技术
CEP:复杂事件处理
数据流不关注数据的存储,关注的第一要点是基于数据流的处理
对比:
数据库是水库,数据流是水管
数据流用于处理的场景:
数据记录下来没用,重要的是第一时间处理
示例:
车内装有各种传感器装置,某时刻发现胎压降低80%,车速骤降,座椅重量从170斤降到20斤,
多项数据综合分析得出,可能是轮胎破裂导致事故发生,当前电脑的第一决策是打开安全气囊;
解决大数据问题
关系型数据库在向内存发展; 而Hadoop 则从文件系统的角度发展,使用更多的机器来支撑大数据;
这是一个两边爬坡的方式,究竟谁会站在山顶,尚未可知;
大数据方面,目前列式数据库解决的还算不错;
Posted by: 大CC | 15DEC,2013
博客:blog.me115.com
微博:新浪微博