李志涛

摘要： 项目名称 xxx项目（技术项目-Demo） 项目背景 说明发起该项目的背景情况 预期收益 给出可能产生的实际收益和预期结果 实现方法 简单介绍项目实现方案 项目文档 列举项目过程中依赖或产生的相关文档 相关负责人 角色 姓名 职责 备注 研发负责人 负责技术研发及相关进度控制和核心质量保障等工作 兼 阅读全文

摘要： 一、背景 公司业务搜索和统计需求非常多，由于查询SQL关联多且复杂，SQL语句把大量业务逻辑和大量计算堆砌到MySQL服务器上，经常导致线上MySQL负载高，随后响应和吞吐量下降，严重影响线上MySQL持续稳定服务，所以各个团队逐步或已经把繁重的查询和统计SQL工作迁移到es上，es架构比较合适查询 阅读全文

摘要： 一、es数据模型 online_class索引结构 es结构 依赖库表 唯一字段标识 备注 onclass表 { "id":52845960, // online_class__id "bookType":"", // 订课 "bookDateTime":"", // 订课(约课)时间 "class 阅读全文

摘要： 背景 当前followup监控不完善，查询服务与数据同步服务分离为独立项目，当前监控信息如下： 数据同步服务 监控数据实时性，数据延时计算公式为当前系统时间戳减去订阅Canal的binlog数据时间戳的差值大于1分钟为判定为延时，然后发送报警给相关人。此监控存在问题是假设MySQL主从和Canal通 阅读全文

摘要： 一、为什么要写这篇文章 最近由于工作需要总共申请了16台云主机，分别用于安装Kafka和elasticsearch集群，因为经验不足过程较为曲折，时间花费比较长。体会如下，因为公司业务高速发展，运维开发RD人力不足，很多基础设施未跟上。特别是运维自动化工具还没有上线，每步操作都是人肉，所以申请机器周 阅读全文

摘要： elasticsearch安装和配置最简化版, 能保证run起来，后续配置优化，待熟悉自行添加，我了解更多会做更多说明和解释 一、环境准备 1.先申请机器或申请root权限，保证有安装权限 2.jdk版本为1.8及以上，1.7报错。下载jdk-1.8 http://www.oracle.com/te 阅读全文

摘要： 一、背景 由于自己还在逐步了解es用法中，当前无法快速提供独立es服务。而且通过与郝xxx、宋zz、孟xxx沟通，当前线上cc和clt通过聚合家长端和DB及es等数据能解决复杂查询问题，因为followup刚上线还不完善，先深入业务，重点解决业务关注的痛点、紧急问题、暂无人无资源去解决的问题。通过业 阅读全文

摘要： 一、背景 当前管理端部分方向因业务的发展，不断需要ES、MQ等基础中间件服务的支持，因公司架构组近期主要精力在DB中间件和新MQ平台等重点项目里，短期无法提供ES和ActiveMQ的新增业务支持，因此需要各端业务方自己搭建和维护，但对于业务方向的研发人员来说，一方面业务需求压力比较大、精力不足，另一 阅读全文

摘要： es工作初步规划 1.构建统一数据模型 2.搭建es测试环境 3.源数据通过canal订阅，merge到新的online和student 4.建立独立基础搜索服务项目 5.定义API 6.基础搜索服务进行开发，提供基础搜索服务 7.测试环境，联调联测，QA进入 8.提交运维申请，上线部署 阅读全文

摘要： 一、唯品会 1.公开资料 archsummit全球架构师大会演讲：Pallas--唯品会统一检索平台的演进和探索：https://sz2018.archsummit.com/presentation/488 2.私下交流学习 唯品主要是一个大es集群，大约有200多个节点 云主机配置为16core 阅读全文

摘要： 1.背景 当前公司绝大部分服务都部署在aws上，少量新服务部署在阿里云上，由于单云平台可用性风险。公司希望通过部署双云平台实现容灾，同时在aws和阿里云部署相同服务，一个云平台有问题部署到另外一个平台 2.迁移阿里云问题 2.1 阿里云 问题：es服务可以启动，但是连接集群内其他节点报错，es集群不 阅读全文

摘要： 1.现状 线上MySQL部署情况复杂，不利于后续架构调整和服务化 无一人对线上MySQL主从关系以及canal对应关系情况足够了解 新人多，学习成本高，存在误操作风险 2.目标 梳理线上MySQL主从关系，理清内在逻辑关系 梳理MySQL中DB与canal关系，便于架构改造升级 有利于新人学习，尽快 阅读全文