摘要:
由于elasticsearch 更新实在太快,配置同义词的资料层次不齐,费尽千辛万苦终于找到了。本文通过一个同义词搜索的简单实例来说明ik同义词的配置。 环境介绍 这点很重要,本文是基于elasticsearch7.1.1,ik7.1.1。 配置同义词文件 上传文件的路径位于 es 安装路径的 co 阅读全文
摘要:
概要 本文是关于django集成支付宝【电脑网站支付】功能的过程记录。 功能逻辑主要分为两块: 1. 用户下单跳转至支付宝支付界面 2. 支付成功的回调验证 本文用到的alipay sdk是基于阿里开发文档http接口请求规则的初步封装,也并非是本人原创。但真实上线门槛略高,需要企业营业执照,对个体 阅读全文
摘要:
ab 介绍 ab是Apache超文本传输协议(HTTP)的性能测试工具。它不仅可以对apache服务器进行网站访问压力测试,也可以对或其它类型的服务器进行压力测试。比如nginx、tomcat、IIS等。 个人觉得ab的操作可以说是灰常简单了,可以用傻瓜式来形容,所以本文主要介绍如何看懂指标。 安装 阅读全文
摘要:
ELK Stack Elasticsearch:分布式搜索和分析引擎,具有高可伸缩、高可靠和易管理等特点。基于 Apache Lucene 构建,能对大容量的数据进行接近实时的存储、搜索和分析操作。通常被用作某些应用的基础搜索引擎,使其具有复杂的搜索功能; Logstash:数据收集引擎。它支持动态 阅读全文
摘要:
情景介绍 公司2000W的数据从mysql 迁移至elasticsearch,以提供微服务。本文基于elasticsearch py bulk操作实现数据迁移。相比于elasticsearch dump,自由度更大,并能够进行数据处理。 API 原理 让我们先来看一下官方文档给出的栗子 我们可以通过 阅读全文
摘要:
场景介绍 基于分布式集群海量日志数据,且分布在不同的服务器上,日志的采集以及可视化是需要我们解决的问题。ELK就是这么一个方案,当然我们这里主要讲解logstash安装配置和基础语法。 ELK帮我们解决了什么问题? 错误日志分散在大量服务器上, 且错误类型众多, 需要有一个工具能够将所有错误日志汇总 阅读全文
摘要:
举个小栗子,在生产环境下,我们有两个异步任务需求,需要分别部署在两台服务器上,并用不同的队列实现 1. 用户邮件发送 2. pageview统计 主要的注意点,在任务执行时需指定queue,routing_key 文件结构 __init__.py celeryconfig.py task1.py t 阅读全文
摘要:
简介 redis连接实例是线程安全的,可以直接将redis连接实例设置为一个全局变量,直接使用。如果需要另一个Redis实例(or Redis数据库)时,就需要重新创建redis连接实例来获取一个新的连接。同理,python的redis没有实现select命令 安装Redis 安装 安装依赖库 连接 阅读全文
摘要:
elasticsearch 默认并不支持中文分词,默认将每个中文字切分为一个词,这明显不符合我们的业务要求。这里就需要用到ik分词插件。 本文主要囊括了以下几部分,ik插件安装、ik用法介绍、自定义词典使用 ik插件安装 1. 查找并下载 "对应elasticsearch版本的ik" ,解压 2. 阅读全文
摘要:
学习了这么多,终于开始搭建生产环境了,这一篇主要讲解配置项,以及支持中文分词的ik安装,集群的搭建。 配置项确实挺多的,但把几个常用配置熟悉就好,而且就像elasticsearch官方文档所说,不存在某个使得性能大幅度提升的配置。 配置项 一下子看到这么多配置项,可能就吓坏了,不要怕,用到的并不多。 阅读全文