摘要：
数据倾斜是进行大数据计算时最经常遇到的问题之一。当我们在执行HiveQL或者运行MapReduce作业时候，如果遇到一直卡在map100%,reduce99%一般就是遇到了数据倾斜的问题。数据倾斜其实是进行分布式计算的时候，某些节点的计算能力比较强或者需要计算的数据比较少，早早执行完了，某些节点计算 阅读全文
摘要：
网站的可扩展性直接关注网站的功能需求，而不同于其他架构要素关注非功能性需求。 可扩展性主要目的是，随着功能不断发展，通过网站架构使其能够快速响应需求变化。产品之间低耦合，功能彼此间不会受到影响。 网站的可扩展性架构主要基于两种手段：事件驱动架构和分布式服务。 事件驱动架构利用消息队列实现，将用户请求 阅读全文
摘要：
网站高可用的设计目标就是当服务器宕机的时候，服务或者应用依然可用。 阅读全文
摘要：
所谓网站的伸缩性，是指不需要改变网站的软硬件设计，仅仅通过改变部署的服务器数量就可以扩大或者缩小网站的服务处理能力。 阅读全文
摘要：
一直以来都想写一点关于kafka consumer的东西，特别是关于新版consumer的中文资料很少。最近Kafka社区邮件组已经在讨论是否应该正式使用新版本consumer替换老版本，笔者也觉得时机成熟了，于是写下这篇文章讨论并总结一下新版本consumer的些许设计理念，希望能把consume 阅读全文
摘要：
1. MySQL学习之索引 阅读全文
摘要：
1. 用户画像是什么 用户画像（User Profile），作为大数据的根基，它完美地抽象出一个用户的信息全貌，为进一步精准、快速地分析用户行为习惯、消费习惯等重要信息，提供了足够的数据基础，奠定了大数据时代的基石。 男，31岁，已婚，收入1万以上，爱美食，团购达人，喜欢红酒配香烟。这样一串描述即为 阅读全文
摘要：
前述 推荐系统本质上是销售系统的一部分。 不管是在便利店，还是超市，或者电商网站，本质上需要解决两个问题： 1、帮助用户获得想要的商品 A、用户知道自己想要什么商品，在什么位置 用户主动的行为 直接到货架区域去挑选商品，直接询问销售员商品在哪里 B、用户不知道自己想要什么，比如：逛街兴致。用户被动的 阅读全文
摘要：
1.架构 主项 子项 rabbitMQ rocketMQ Kafka Hippo Tube 高可用 1：镜像队列。 2：集群。master/slave机制。 HA 同步双写和异步复制均支持 （同mafka） 1、中心节点：HA 高吞吐 性能 跟cpu 密切相关，5000是4核，5000左右。具体见r 阅读全文
摘要：
最近来公司才换的IDEA，而且是mac版本的，踩了好多坑，所以想记录下来。 1. 创建Web聚合项目（Maven多模块项目） 参考多模块项目创建 2. IDEA热部署（jetty插件启动maven项目） 参考IDEA热部署 阅读全文