摘要： 很多小步快跑的公司，开发人员多则3-4个，面对巨大业务压力，日连夜的赶着上线，快速试错，自然就没时间搭建一些基础设施，比如说logCenter，但初期 项目不稳定，bug又多，每次都跑到生产去找日志，确实也不大方便，用elk或者用hadoop做日志中心，虽然都是没问题的，但基于成本和人手还是怎么简化 阅读全文

摘要： 最近在做一个人群标签的项目，也就是根据客户的一些交易行为自动给客户打标签，而这些标签更有利于我们做商品推荐，目前打上标签的数据已达5亿+， 用户量大概1亿+，项目需求就是根据各种组合条件寻找标签和人群信息。 举个例子： 集合A： ( 购买过“牙膏“的人交易金额在10-500元并且交易次数在5次的客户 阅读全文

摘要： 说起缓存，大家可能口若悬河，各种类型的缓存都能一一分析，但在net下找到一款合适的Disk Cache貌似还是有一点难度的。 一：背景 事情是这样的，最近的一个项目中，需要在web端绘制一些报表，因为报表的基础数据源都是全内存式的，所以内存相对我们来说是比较吃紧的，大家可能 大家知道，比如一些散点图 阅读全文

摘要： 事情是这样的，在一个新项目中引入了fastdfs，用这玩意做一些小数据的存储还是很方便的，然后在nuget上就找到了一个FastDFS的sdk，如下图： 一眼就看到了这个top1的sdk，应该会比较靠谱。。。简单的在项目中应用了一下没啥问题就忽悠上线了，然后就悲剧了，测试那边反馈说上传了一个 人群， 阅读全文

摘要： 在之前一篇使用nginx搭建高可用的解决方案的时候，很多同学会问，如果nginx挂掉怎么办，比如下面这张图： 你可以清楚的看到，如果192.168.2.100这台机器挂掉了，那么整个集群就下线了，这个问题该怎么解决呢？？？ 简单的想想确实不大好处理，因为你 的webBrowser总得要访问一个ip地 阅读全文

摘要： 首先说一下背景，在双十一的时候，我们系统接受X宝的订单推送，同事原先的实现方式是使用redis的List作为推送数据的承载，在非大促的场景下， 一切运行正常，内存占用大概3-4G，机器是16G内存。由于提前预计不足，在双十一来临的时候，订单瞬时量达到了平时的10X倍，内存非常吃紧，情况算 是非常紧急 阅读全文

摘要： 在我们开发项目的时候，经常会遇到大块数据的问题（2M-100M），比如说保存报表中1w个人的ID号，他就像一个肿瘤一样，存储在服务器哪里都 觉得恶心，放在redis，mongodb中吧，一下子你就会收到报警，因为内存满了。。。放在mysql吧？？？你还得建立一个text字段，和一些小字段混在一起， 阅读全文

摘要： 在项目初期的时候，大家都是赶着上线，一般来说对日志没有过多的考虑，当然日志量也不大，所以用log4net就够了，随着应用的越来越多，日志散 落在各个服务器的logs文件夹下，确实有点不大方便，这个时候就想到了，在log4net中配置 mysql的数据源，不过这里面有一个坑，熟悉log4net的同学知 阅读全文

摘要： 最近有个需求，需要整合所有店铺的数据做一个离线式分析系统，曾经都是按照店铺分库分表来给各自商家通过highchart多维度展示自家的店铺经营 状况，我们知道这是一个以店铺为维度的切分，非常适合目前的在线业务，这回老板提需求了，曾经也是一位数据分析师，sql自然就溜溜的，所以就来了 一个以买家维度展示 阅读全文

摘要： 很多情况下基于wcf的复杂均衡都首选zookeeper，这样可以拥有更好的控制粒度，但zk对C# 不大友好，实现起来相对来说比较麻烦，实际情况下，如果 你的负载机制粒度很粗糙的话，优先使用nginx就可以搞定，既可以实现复杂均衡，又可以实现双机热备，以最小的代码量实现我们的业务，下面具体分享下。 一 阅读全文

摘要： 在一个项目还是单体架构的时候，所有的js，css，image都会在一个web网站上，看起来并没有什么问题，比如下面这样： 但是当web网站流量起来的时候，这个单体架构必须要进行横向扩展，而在原来的架构中静态资源这羊毛是出在单体架构这头羊身上，所以横向多少 个单体，就有多少个静态资源文件夹，比如下面这 阅读全文

摘要： 当你的项目数据量上去了之后，通常会遇到两种情况，第一种情况应是最大可能的使用cache来对抗上层的高并发，第二种情况同样也是需要使用分库 分表对抗上层的高并发。。。逼逼逼起来容易，做起来并不那么乐观，由此引入的问题，不见得你有好的解决方案，下面就具体分享下。 一：尽可能的使用Cache 比如在我们的 阅读全文

摘要： Gearman是当年LiveJournal用来做图片resize的，大家也明白图片resize是一个高CPU的操作，如果让web网站去做这个高CPU的功能，有可能会拖垮你的 web应用，那本篇我们来看看gearman是如何解决这个问题的，它的架构图类似下面这样： 从上面这张图，你应该会看到，Gear 阅读全文

摘要： 在上一篇的环境配置中，你还只能基于maven开发一个javase的项目，如果要开发一个web项目，还得配置一下tomcat和spring mvc，集成一览表如下。 一：Tomcat安装 在.net web开发中，微软再一次向你展示了一站式马赛克配置，你只需要轻轻一点按钮，发射。。。一个带有boots 阅读全文

摘要： 最近公司做了一个项目，需要嵌套在千牛的客户端上，项目代码必须上阿里的聚石塔，全程采用基于docker的自动化部署，我们的项目是基于.net架构。很遗憾 的是基于windows的docker上部署在访问淘宝自身的api接口，总是会时不时的各种超时，阿里小二也整个一个星期没解决，给出的理由很简单，基于w 阅读全文