摘要:
在生产环境下,无论使用Elasticsearch做检索还是ELK分析的,如果文档数量非常庞大,动辄就是按T计算。Elasticsearch也提供了文档的批处理机制,允许一次性检索多个文档。为了保证集群处在一个最佳负载状态,我们会通过Delete By Query的方式去定期删除索引中的数据。 Del 阅读全文
摘要:
最近在处理商品SKU通过ES和MySQL查询结果不匹配的时候,留意到在elasticsearch中cluster health是yellow,仔细看了一下,elasticsearch的索引状态和集群状态的不同传达着不同得意思。查阅了文档和一些文章,对ES的集群状态有了新的认识。无论集群是单节点还是有 阅读全文
摘要:
Go.mod是Golang1.11版本新引入的官方包管理工具用于解决之前没有地方记录依赖包具体版本的问题,方便依赖包的管理。 Go.mod其实就是一个Modules,关于Modules的官方定义为: Modules是相关Go包的集合,是源代码交换和版本控制的单元。go命令直接支持使用Modules, 阅读全文
摘要:
一个程序在运行过程中,往往需要读取一些配置项,从而正常运行。在以前,这些配置项一般通过命令行参数或者配置文件提供。 使用这种原始地方式主要有两个问题: (1)最大的缺点就是,如果需要更新配置项的话,往往需要重新启动进程; (2)另外一方面,如果使用配置文件的话,那么在批量部署的时候,可能不同节点需要 阅读全文
摘要:
MySQL从8.0开始支持窗口函数,这个功能在大多商业数据库和部分开源数据库中早已支持,有的也叫分析函数。 什么叫窗口? 窗口的概念非常重要,它可以理解为记录集合,窗口函数也就是在满足某种条件的记录集合上执行的特殊函数。对于每条记录都要在此窗口内执行函数,有的函数随着记录不同,窗口大小都是固定的,这 阅读全文
摘要:
在软件开发中,我们将输入交给用户,而输出则是我们对数据汇总统计分析呈现给用户,这些题考察SQL的编写能力。对于这类型的题目,更多是需要对这些题考察对SQL的编写能力,对于这类型的题目,需要先把4张表之间的关联关系搞清楚了,最好的办法是自己在草稿纸上画出关联图,然后再编写对应的SQL语句就比较容易了。 阅读全文
摘要:
数据库的重要性不言而喻,从系统开发到部署到生产环境,可能都在做跟业务相关的处理,可能当客户反馈系统运行有些慢的时候,作为 developer 可能会思考是我们自己写的那”坨”代码的问题? 是自己 Coding 的问题? 是MySQL的DML语句使用的问题? 在对 Mysql 的性能优化前,我们需要从 阅读全文
摘要:
HeapSort 是一种基本算法,其精确的性能特征已被证明难以分析。很容易证明,在最坏的情况下,当对 N 个不同元素的随机文件进行排序时,算法在算法过程中移动的键数为 NlgN + O(N),并且长期以来人们一直猜测平均性能为相同。尽管该算法是被广泛使用的经典方法,但仍未发现一般情况甚至最佳情况的具 阅读全文
摘要:
电商行业充斥着大大小小的促销活动,O2O领域也常常上演补贴大战,在开疆辟土阶段,砸钱让利招揽用户的法子自然最为好使,但当形成一定规模之后,疯狂促销补贴的模式是否仍然高效?个性化的运营策略是否有必要?活动的真实效果到底如何? 为了解决以上问题,建立科学的活动效果评估体系,当前最简便的方法使用AB测试。 阅读全文
摘要:
MySQL 数据库与 Oracle、SQL Server 等数据库相比,有其内核上的优势和劣势。我们在设计 MySQL 数据库的时候需要遵循一定的规范,扬长避短。本规范旨在帮助或指导 RD、QA、OP 等技术人员做出适合线上业务的数据库设计。在数据库变更和处理流程、数据库表设计、SQL 编写等方面予 阅读全文