我读《大数据时代的IT架构设计》
架构设计是一门艺术，对架构的掌握要通过多看，多学，多交流，多积累，从实战架构上总能吸收到很好的营养，这边书虽然
（一）.hadoop技术处理电信行业的上网日志
根据上网的url或未知url爬取内容，进行分类，根据模型统计出个人喜好，从何精准营销。
经典hadoop应用分层：
接口层：负责与外部数据的交换
数据层：分布式大数据处理平台
资源层：类似ISSA，实现对物理资源的自动部署和动态扩展
功能层：流程，调度，监控，元数据管理，安全等
应用层：词库分类，分类索引，负责应用功能的具体算法
展示层：web展示应用层处理的结果
网络爬虫：爬去url中的内容
（二）.Hadoop平台在金融银行业的应用架构
在核心系统层，增加hadoop平台实现历史数据存储备份、对外提供数据查询、基于存储提供数据挖掘
（三）.优酷hadoop平台开放
主要是安全和开放，安全包括访问安全（查看数据，hdfs权限）和用户安全（用户身份）
开放：规范、流程管理、监控（节点、资源利用率、异常分析、用户存储配额、调度队列）
（四）.推荐平台
包括实时接入、实时计算、cache分布式存储、离线计算平台、运营平台
四个关键部分：
a:实时接入：管道作用，接入数据，分发给计算平台
b:流式计算：关注业务特点，业务场景而非平台架构
c：存储引擎：写主读备
d：推荐引擎：接入、分法计算、真正计算
（五）.社交网络大数据挖掘与社会化推荐
推荐系统发展：
协同过滤算法CF-->推荐引擎-->item based-->二度好友-->社会化推荐
社会化推荐引擎构成：
好友推荐模型的几个关键算法：
二度好友-->好友簇-->好友圈演化趋势预估-->好友接受率模型-->多图谱融合
（六）.微博用户兴趣建模
用户兴趣的三个方面：兴趣标签、兴趣词、兴趣分类
实时系统抽取兴趣词，离线挖掘优化
实时抽取：
微博内容-->分词、分类-->按微博ID存入redis-->超出范围按userID合并-->非活跃用户利用历史redis和实时redis中的同一用户数据在内存中完成合并
离线挖掘：
减少实时抽取的噪声，通过计算单词的上下文相似性来获得词的相似性，通过词的相似性建立图挖掘的一边，相似度越大，图越密集，进而有效识别噪声，挖掘出用户真正的兴趣。
（七）小米移动应用网络建设和优化
1.移动应用网络的挑战：
基于电波传送信号不稳定；移动网络尚不成熟；
2.不同类型移动网络速度：
3.小米应对措施：
建设CDN或动态加速节点，源站和节点之间可以通过广域网直接对接，也可以通过速度好的中继节点；用户请求重转；通过TCPXM抓包分析链路质量，进而分析；
持续优化：不断修改IP库，地域性联通问题大可考虑拉专线，基于http协议做协议转换
（八）西门子系统架构管理概念
系统架构全生命周期：
（九）构建高性能、稳定SOA应用
基于消息队列解耦；流程间按子任务，任务间用消息队列异步获取输入或输出结果，达到任务间并行的目的，其实只是同时处理，从某一个完成流程来看，其还是顺序的，而且效率是有影响的。
（十）基于开源技术的网络安全架构
OSSIM系统组成：各类安全设施、代理进程Agent、传感器、关联引擎、数据仓库、web控制台
数据包通过的路径：
网卡硬中断--->软中断--->内核协议栈--->系统调用--->socket接口--->libpcap接口--->用户应用程序
（十一）TOGAF应用架构设计落地
业务架构关键：组织机构、业务功能、业务流程
业务功能靠业务流程实现，业务流程由业务步骤组成，业务步骤由组织机构单元承担
应用架构关键：功能和系统，系统是IT功能的承载者。
应用架构建新一代系统工作主线：
业务功能--->业务流程--->业务步骤--->区分全手工半自动全自动业务步骤--->功能分组映射系统，找出IT功能点--->设计IT系统
（十二）分布式系统安全设计解决
数组签名确保完整性，对传递的信息进行加解密确保私密性。
（十三）淘宝TFS
1.写入完成后回向client返回一个由集群号、block id、file id组成的文件名，方便client通过该文件名访问存储的文件。
2.服务端不会立刻删除文件，先打上标记，当删除超过一定比例，在低峰期再进行删除，同时对block进行整理。
3.tfs支持利用tair分布式存储将block的位置信息缓存，以便减轻nameserver的访问压力。
4.tfs自持通过metaserver的映射关系实现用户自定义文件名；
5.tfs支持将大文件分散成小文件(2M),然后将多个小文件的名称作为新的文件数据存储到TFS，读取时根据此新文件的特殊名称标识知道此乃大文件，于是读取启动的小文件名，在从TFS里读出各分片数据，重新组合成大文件。
6.机房容灾：机房独立集群，集群间同步(通过dataserver在后台线程重放日志)保证数据互为镜像。
7.多机房多主集群部署方式，可以通过一定配置规则如blockid的奇偶性来分开写，然后对其他机房彼此同步
8.TFS将所有资源信息存储在mysql的数据库里，通过资源管理服务器rcserver进行统一管理。
（十四）内存作为统一存储实实践
对微博之类的社交类，基础内存做信息同步的三种模式：
拉模式：查询此用户关注的人，然后从这些人中查所有的微博。缺点：是关注的人多时数据大，长时间响应不了。
推模式：为每个收听者建立一个队列，用户发了微博后向收听者队列插入数据。缺点：大V粉丝多，数据量太大。
内存模式：只更新内存中的收听用户队列，当非内存中的收听用户上来时，在内存中利用拉模式构建收听队列。
把缓存当作具有一定逻辑结构的存储体系，注意利用数据填充工具填充新服务器中的缓存数据。
（十五）数据库优化
优化步骤：设计层 sql调优 内存IO层面 操作系统优化
尽量不建索引，实在要建，就建复合压缩索引
缓存sql语句执行计划
（十六）京东商城网站架构演变
三个发展时代：
1：asp连db
2：静态网页放在cdn中配合动态交易系统（购物车、订单中心）具体如下：cdn--->web应用--->读取静态文件（用生成器生成）
还有几点：将促销系统拆分出来，拆分库存逻辑，db复制
3：
交易系统：前面的负载均衡--->web应用--->业务服务层--->基础服务层
1.核心系统全面服务化，服务框架的基本三功能：路由，fileover机制，服务分组
2.数据访问分库分表
3.缓存
大流量下的四步：异步化--->限流--->分流--->降级
（十七）新浪视频后台架构变迁
的
视频点播CDN:
每个squid将io、连接数等状态报告给数据中心，播放接口根据统计信息将用户引导到离他近且状态良好的节点上：
视频直播：
视频存储：
