软件心理学工程师

一个ES索引最大可以支持多少个shard？理论上无限扩展，我推测最大应该是java array的最大长度：Integer.MAX_VALUE。通常业务为了保证查询效率，往往会限制data node上shards的总个数(cluster.routing.allocation.total_shards_ Read More

最近做的某个feature需要在很短的时间内上千万次请求其他部门的web服务，为了减少请求次数和提升系统响应速度决定采用cache来缓存数据。 说到cache最出名的就是memcached和redis了，因为目前公司内用redis的项目用的更多，有专门的集群和运维工程师，就果断选了redis。一言以 Read More

最近在做ES搜索调优，看了一些lucene搜索的文档和代码，本文用于总结调优过程中学到的知识和自己的思考。 在抓到ES慢查询之后，会通过profile或者kibana的Search Profiler console查看具体慢在了哪里。一般在执行profile search之前，需要稍微改变query Read More

最近把搜索后端从AWS cloudsearch迁到了AWS ES和自建ES集群。测试发现search latency高于之前的benchmark，可见模拟数据远不如真实数据来的实在。这次在产线的backup ES上直接进行测试和优化，通过本文记录search调优的主要过程。 问题1：发现AWS ES Read More

日常工作中用到的ES相关基础知识和总结。不足之处请指正，会持续更新。 1.集群的健康状况为 yellow 则表示全部主分片都正常运行（集群可以正常服务所有请求），但是 副本 分片没有全部处在正常状态。 2.主分片的数目在索引创建时就已经确定了下来。但是，读操作——搜索和返回数据——可以同时被主分片  Read More

cluster.name: 指定node所属的cluster。 node.name: 本机的hostname。 node.master: 是否可以被选举为master节点。(true or false) node.data: 是否为data node。(true or false) node.att Read More

今天老大提醒我产线kafka自身的log文件积累了好几个月了，我才发现原来kafka的log4j并删除old log。 第一反应是采用linux自带的logrotate功能，在/etc/logrotate.d下面建一个文件写入： /opt/kafka_2.11-0.9.0.0/logs/*.log* Read More

最近计划看看elasticsearch的源码，首先得把local debug环境搞定。 下载源码。因为公司产线是5.6.5，所以就下载了5.6.5的代码。 源码编译。先进入到/elasticsearch/core目录，因为IDE是idea，所以用gradle idea编译core目录。然后进入到/e Read More

整个2017年都在搞大数据平台，完全远离了机器学习，甚至都不记得写过类似ETL的job。 从数据到平台，从业务处理到基础服务。 Metrics的收集，报警，生成报表。Data pipeline的准确性，性能。Job的提交，资源分配。分布式组件的部署，运维。 同时也参与了一个portal的开发，管理分 Read More

基于kafka-2.11-0.9.0.0 。 a.kill掉kafka进程，然后在server.properties里面加上delete.topic.enable=true。重启kafka。集群中的每台机器都这样操作，one by one。 b.在一个kafka broker上执行：/opt/kaf Read More