11 2017 档案
摘要：系统为了获取更大存储、更大计算量比如Google、百度等搜索引擎、共享资源(共享打印机)、移动 通信我们现在每时每刻都离不开的手机，都需要用到分布式系统。 分布式系统是一个涵盖硬件、网络、算法、分布式计算，一个宽广而且有意思领域。分布式系统是 复杂系统，但设计出来给用户使用，要简单明了，易于在实际中
阅读全文
摘要：负载均衡在线上服务中有着很重要作用，因为一台web服务比如tomcat，能够处理qps（每秒处理请求数） 是有限的。那么就需要有有前端负载均衡服务将大的流量分发为多个后端服务进行处理。 负载均衡产品有硬件F5、有软件，早之前使用Apache较多，目前是使用Nginx多，Nginx架构实现简洁优 雅性
阅读全文
摘要：对于分布式系统这样一个复杂领域，首先要清楚其概念，才能从总体角度有个把握，才好深入 去不断了解。 google搜索引擎需要对海量数据进行离线实时计算，海量数据单机已经无法进行存储、计算。 单机不行那就用多台PC构成分布式来应对海量存储、海量计算，想法厉害结果人还实现了。 应对海量数据存储，海量数据计
阅读全文
摘要：在知乎上看到一个好问题，架构师遍地年代架构设计、架构师还有没有价值？面试或工作中总是会遇到研发人员， 工作一段时间后，工作内容变化不大，或者因为这样那样原因领导不认可，研发人员自己都在怀疑自己做的工作没有 意义或者价值不大。 常见一种情况是工作内容经常变动，今天这个项目重要，明天那个项目重要，做的好
阅读全文
摘要：互联网应用程序有的一个鲜明特征就是，用户会大量使用，很多用户真实使用，很有成就感，不会像传统企业做的 很多软件没人使用，一方面必须保证程序7*24小时正确可用，随时有问题、bug随时要处理，另外一方面程序要保证高 性能，性能无论到什么时候都是用户体验关键要素。要保证这两点就需要有完备的测试流程体系。
阅读全文
摘要：高可用、高性能是互联网应用与传统应用开发之间差异较大部分，要保证程序高可用、高性能 需要架构设计、实现、算法等每个点都是合理的简洁可靠的。因为一个点性能差、一个点不稳定会 导致整个系统性能不稳定。 高可用互联网程序高可用，即线上服务要保证99.9%以及99.99%可用率。要保证程序高可用需要 首先要
阅读全文
摘要：线上一个服务0:00-0:20没有任何问题，0:20之后突然一个服务调用量增加（不合理接口调用量应该都是0:00开始猛地暴涨）， 接口可用率降到50%以下。如果是核心交易接口，那么订单将影响一半以上，很可怕。还好，不是核心业务，是一个辅助展示 业务，并且业务本来不应该打开。 那么为什么配置被打开？为
阅读全文
摘要：移动互联网时代搜索引擎依然是重要流量来源以及流量分发渠道，虽然比PC互联网时代权重有所降低。 各大电商淘宝、京东80-90%交易额也是由用户app内搜索、网站内搜索产生，个性化推荐系统本身也和搜索 引擎无论技术还是产品方方面面都与搜索引擎有着关联，我们每天也都和搜索引擎打着交道，搜索知识、 搜索问题
阅读全文
摘要：昨天在社区上看到有人讨论多线程使用，多线程遇到一些问题以及一些使用技巧记录一下。为什么要使用多线程， 不能是为了用而用，和设计模式一样用的合理，会让程序更易于理解，用的不合理反而会让程序变得更难理解。 过去使用场景有，cms内容管理系统多个编辑配置频道，将多个频道以及频道下文章发布成静态html，如
阅读全文
摘要：个性化推荐系统由亚马逊电子商务公司、Netflix电影租赁公司，在线上业务大力使用推荐系统，并大力通过文章、竞赛形式宣传推荐系统。使得个性化推荐系统在电商领域及其受欢迎，并且个性化推荐技术应用到线上个频道，相比于运营配置产品数据，uv、pv、gmv点击转化、订单转化均是大涨个别业务接入个性化推荐系统
阅读全文
摘要：个性化推荐系统评价有两个重要指标，一个是召回率一个是准确率。召回率就是：召回率=提取正确信息条数/样本中信息条数。准确率就是：准确率=提取出正确信息条数/提取信息条数。召回率大小直接影响准确率，直接影响机器学习模型、深度学习模型线上效果。 模型实时计算第一步是模型上线，将spark、TensorFl
阅读全文
摘要：个性化推荐系统、搜索引擎、广告系统，这些系统都需要在线上不断上线，不断优化，优化之后怎么确定是好是坏。这时就需要ABTest来确定，最近想的办法、优化的算法、优化的逻辑数据是正向的，是有意义的，是提升数据效果的。 ab需求能方便测试，提供界面快速调整流量，调整流量后能够方便看效果变化，以及不同ab分
阅读全文
