摘要: 往年的年终总结都是放在元旦跨年时写,但细想之后还是觉得放在春节写来得合适,毕竟春节前往往是最忙最有事情做的时段,只有回到家之后这一年的工作才算完。但是年后发生了各种事……所以拖到了今天才做总结,还是得过去的15年一个好好的交代。 “2013,给自己的评分是不及格;2014,总算是步入正轨”,2015 阅读全文
posted @ 2016-03-21 00:10 Logos 阅读(34) 评论(0) 推荐(0) 编辑
摘要: 最近其实不太顺利,做了四个月的搜索项目总算在论坛PC端上线了,自认为合理的排序算法并不被老用户认可,改为和老版本使用一样的时间降序排列后得以使得新老版本的数据表现相似,可惜新版搜索的点击数据还稍逊一些;再加上App端在过年前要接入搜索功能,使得最近不得不来了一阵疯狂加班,也因此腾不出来优化搜索算法; 阅读全文
posted @ 2016-01-16 02:09 Logos 阅读(87) 评论(0) 推荐(0) 编辑
摘要: 搜索是一个需要不停改进的项目,有时我们需要更新分词插件,有时我们想升级ES版本,这些动作的生效都需要重启ES服务。我们当然不希望重启线上服务导致用户无法使用搜索功能,好在ES支持rolling upgrade的方式进行热更新,以下是操作步骤建议: [bash] // 1.确保每个Index至少有一份 阅读全文
posted @ 2016-01-15 20:29 Logos 阅读(80) 评论(0) 推荐(0) 编辑
摘要: 虽然ES提供了replicas shards的机制来保证数据的完整性不会因为几个节点的奔溃而被破坏,但是定期的数据备份以备不时之需依然重要。此外,通过备份与恢复也可实现数据在不同集群间的迁移(直接复制data目录下的索引文件的做法我尝试过,但没有成功)。 备份的方式在官方文档里有清楚的交代:先创建仓 阅读全文
posted @ 2015-12-17 12:26 Logos 阅读(200) 评论(0) 推荐(0) 编辑
摘要: 我现在专注于公司的搜索项目,初期框架选择时最后范围缩小到Elasticsearch(简称ES)与Solr之间,但考虑到ES从诞生的第一天就是面向分布式架构的,因此最终敲定ES。接下来有空时会整理一系列的ES使用心得,今天正好要在新节点上部署ES,顺便把部署的完整过程同步到博客里供大家参考: Elas 阅读全文
posted @ 2015-11-28 20:54 Logos 阅读(58) 评论(0) 推荐(0) 编辑
摘要: 最近,我的工作重心是搜索项目。我们选用的搜索框架是Elasticsearch,ES从诞生第一天起就是面向分布式而构造的,因此跨服务器的文件同步问题随之而来。 此外,我使用R语言作为主要的脚本语言来配合ES使用(测试搜索效果、生成同义词文件等等),习惯上我会把R项目生成的文件放在R相关的目录下,因此还 阅读全文
posted @ 2015-11-25 23:47 Logos 阅读(115) 评论(0) 推荐(0) 编辑
摘要: 在图形界面下习惯了双击.exe(或者.dmg)安装软件,到了Linux服务端可能会有很大的不适。此前,我都是直接Google,然后不管三七二十一地直接把安装命令丢到bash里,期待顺利安装…… 但今天当我要重装R语言的时候,由于以前是手工编译安装的,现在需要用yum来安装却总是出错(yum安装处理了 阅读全文
posted @ 2015-11-24 22:03 Logos 阅读(99) 评论(0) 推荐(0) 编辑
摘要: 首先更新服务器: [bash firstline="1"] yum update [/bash] 查看系统当前的java版本: [bash firstline="2"] java -version [/bash] 如果发现是老版本,可以进一步查询系统已经安装的JDK: [bash firstline 阅读全文
posted @ 2015-11-24 15:41 Logos 阅读(40) 评论(0) 推荐(0) 编辑
摘要: 由于SAE的各种不稳定,这个博客荒废了好久。最近由于工作需要开始鼓捣阿里云,学了一些Linux知识后,总算顺利把博客迁移了过来。在继续写技术博客之前,还是先记录一下这段时间的生活,给这半年一个交代吧。 arenacloud 首先,我的虎扑邮箱马上就不能用了(泪目),因为我们数据部门加入了虎扑系的子公 阅读全文
posted @ 2015-11-23 23:25 Logos 阅读(19) 评论(0) 推荐(0) 编辑
摘要: 这一节是Andrew对应用机器学习给出的建议,虽然没有数学公式,但却是十分重要的一课。 Debugging Learning Algorithms 假设要做一个垃圾邮件分类的模型,已经从海量的词汇表中选出一个较小的词汇子集(100个单词)作为特征。 用梯度上升算法实现了贝叶斯逻辑回归,但测试集的错误 阅读全文
posted @ 2015-04-05 22:49 Logos 阅读(65) 评论(0) 推荐(0) 编辑