摘要：
总体架构 经过深入的讨论和分析，最后我们认为，根本原因还是系统设计方案有问题，也就是说，技术上是比较弱的。 得到这个根本原因之后，解决策略就比较明显，总结一句话就是“把运维的锅让研发去背”，不要指望你的运气好或者烧香、提高某某人的运维能力，而是假设所有的这些问题都有可能发生，发生之后你的系统是不是有 阅读全文
摘要：
淘宝网拥有国内最具商业价值的海量数据。截至当前，每天有超过30亿的店铺、商品浏览记录，10亿在线商品数，上千万的成交、收藏和评价数据。如何从这些数据中挖掘出真正的商业价值，进而帮助淘宝、商家进行企业的数据化运营，帮助消费者进行理性的购物决策，是淘宝数据平台与产品部的使命。 淘宝海量数据产品技术架构 阅读全文
摘要：
系统质量属性是软件系统在质量方面的需求，本文从架构来分析质量属性的实现，实践中最常用的6个系统质量属性包括可用性（Availability）、可修改性（Modifiability）、性能（Performance）、安全性（Security）、可测试性（Testability）和易用性（Usabili 阅读全文
摘要：
余额宝的技术创新 基金直销和 TA 清算的整合。传统的基金系统直销和清算是分开。直销系统每天要把数据以文件形式导入清算系统里去。这件事情我们做了很大的改进，这么大体量数据来说，每天导入导出这个数据不可想象，在这里做了一个直销和 TA 融合，后面我会有一个详细的介绍。 交易的简化，监管大的框架下，满足 阅读全文
摘要：
支付宝目前整个平台被分成了三个层： 运维平台（IAAS）：主要提供基础资源的可伸缩性，比如网络、存储、数据库、虚拟化、IDC等，保证底层系统平台的稳定性； 技术平台（PAAS）：主要提供可伸缩、高可用的分布式事务处理和服务计算能力，能够做到弹性资源的分配和访问控制，提供一套基础的中间件运行环境，屏蔽 阅读全文
摘要：
1、输入和输出 (1)输出 ①常规：print("hello,world") ②输出多个字符串：print("hello,","world") ③输出计算结果：print("100+200 = ",100+200) (2)输入 实例： # input()返回的数据类型是str，不能直接与整数比较，必 阅读全文
摘要：
jdbc:mysql://localhost:3306/pachong?useUnicode=true&characterEncoding=UTF-8 不然可能会出现从源代码传出的中文参数到mysql过程中会乱码导致查询失败。 阅读全文
摘要：
1.问题来源及原因 用shell命令上传到HDFS中之后出现中文乱码，在shell命令窗口查看如图： 在eclipse中的文件HDFS查看工具查看如图： 原因：上传至HDFS文件系统的文本文件（这里是A.txt）的编码格式是ISO-8859，与hdfs文件系统和eclipse默认的编码格式UTF-8 阅读全文
摘要：
1.错误原因 mapreduce按行读取文本，map需要在原有基础上增加一个控制语句，使得读到空行时不执行write操作，否则reduce不接受，也无法输出到新路径。 2.解决方案 原错误代码 更正后的代码 阅读全文
摘要：
1.原因：没有控制语句导致的迭代器的越界，使得map中的数据无法传入reduce，从而无法把结果传入目标文件中。 在进行Mapreduce实例——WordCount实验时遇到的错误，开始以为是lib包导入和读取源文件格式的问题，后来无论怎么修改都会报这个错误，报错如下： java.lang.Exce 阅读全文