摘要: http://www.cnblogs.com/LBSer/p/4419052.html1 问题描述 我们的检索排序服务往往需要结合个性化算法来进行重排序,一般来说分两步:1)进行粗排序,这一过程由检索引擎快速完成;2)重排序,粗排序后将排名靠前的结果发送给个性化服务引擎,由个性化服务引擎进行深度... 阅读全文
posted @ 2015-04-12 09:31 zhanlijun 阅读(6240) 评论(0) 推荐(2) 编辑
摘要: http://www.cnblogs.com/LBSer/p/4417148.html1 问题描述 某服务有两台机器,每隔几天会报警load高,一开始看监控发现gc时间抖动很大,以为是发生了fullgc引起卡顿而未加注意,之后登入线上机器查看日志发现是jvm崩溃导致了服务重启从而引发gc时间... 阅读全文
posted @ 2015-04-11 10:42 zhanlijun 阅读(4988) 评论(1) 推荐(1) 编辑
摘要: http://www.cnblogs.com/LBSer/p/4417127.html一、为什么需要点聚合 在地图上查询结果通常以标记点的形式展现,但是如果标记点较多,不仅会大大增加客户端的渲染时间,让客户端变得很卡,而且会让人产生密集恐惧症(图1)。为了解决这一问题,我们需要一种手段能在用户有... 阅读全文
posted @ 2015-04-11 10:29 zhanlijun 阅读(19599) 评论(6) 推荐(7) 编辑
摘要: http://www.cnblogs.com/LBSer/p/4417074.html1 背景 以商家(Poi)维度来展示各种服务(比如团购(deal)、直连)正变得越来越流行(图1a), 比如目前美食、酒店等品类在移动端将团购信息列表改为POI列表页展示。 图1 a:商家维度展... 阅读全文
posted @ 2015-04-11 09:58 zhanlijun 阅读(4340) 评论(6) 推荐(2) 编辑
摘要: MPI 用MPI处理栅格(图像)数据,由于使用MPI过于复杂,因此实现了基于MPI的适用于地理栅格数据处理的并行编程模型,具体参考:一种支持多种并行环境的栅格地理计算并行算子。CUDA 用CUDA处理过图像数据,在带有gpu的普通笔记本上实现了十几倍的加速比。具体参考:多流向算法GPU并行化。M... 阅读全文
posted @ 2014-11-28 23:02 zhanlijun 阅读(928) 评论(0) 推荐(0) 编辑
摘要: http://www.cnblogs.com/LBSer/p/4129481.html一、问题 使用spark join两张表(5000w*500w)总是出错,报的异常显示是在shuffle阶段。14/11/27 12:05:49 ERROR storage.DiskBlockObjectWri... 阅读全文
posted @ 2014-11-28 22:08 zhanlijun 阅读(5745) 评论(4) 推荐(1) 编辑
摘要: http://www.cnblogs.com/LBSer/p/4119841.html1 lucene字典 使用lucene进行查询不可避免都会使用到其提供的字典功能,即根据给定的term找到该term所对应的倒排文档id列表等信息。实际上lucene索引文件后缀名为tim和tip的文件实现的就... 阅读全文
posted @ 2014-11-24 22:51 zhanlijun 阅读(17204) 评论(5) 推荐(7) 编辑
摘要: http://www.cnblogs.com/LBSer/p/4083131.html一、问题描述 某天A君突然发现自己的接口请求量突然涨到之前的10倍,没多久该接口几乎不可使用,并引发连锁反应导致整个系统崩溃。如何应对这种情况呢?生活给了我们答案:比如老式电闸都安装了保险丝,一旦有人使用超大功... 阅读全文
posted @ 2014-11-08 12:47 zhanlijun 阅读(26849) 评论(3) 推荐(10) 编辑
摘要: http://www.cnblogs.com/LBSer/p/4068864.html 随着业务快速发展,基于lucene的索引文件zip压缩后也接近了GB量级,而保持索引文件大小为一个可以接受的范围非常有必要,不仅可以提高索引传输、读取速度,还能提高索引cache效率(lucene打开索引文件... 阅读全文
posted @ 2014-11-02 11:23 zhanlijun 阅读(9063) 评论(4) 推荐(5) 编辑
摘要: http://www.cnblogs.com/LBSer/p/4020370.html1 定位背景介绍 一说到定位大家都会想到gps,然而gps定位有首次定位缓慢(具体可以参考之前的博文《LBS定位技术》)、室内不能使用、耗电等缺陷,这些缺陷大大限制了gps的使用。在大多数移动互联网应用例如go... 阅读全文
posted @ 2014-10-12 12:17 zhanlijun 阅读(13820) 评论(3) 推荐(2) 编辑