随笔分类 - 架构设计
摘要：实战：上亿数据如何秒查？ 发布于 2016年07月01日 ! 资讯详情页上方 (adsbygoogle = window.adsbygoogle || []).push({}); 开发四年只会写业务代码，分布式高并发都不会还做程序员？ 最近在忙着优化集团公司的一个报表。优化
阅读全文
摘要：背景关系型数据库在执行计数任务时，其执行效率会随着数据量级的增长而降低；当数据量达到亿级别时，计数任务的执行效率已经低到令人不忍直视。在闲鱼团队的关系系统中，我们采用了这样一种方式来实现亿级别数据的毫秒级计数。挑战闲鱼现有的业务场景中，用户收藏宝贝、关注他人的数据量，已经达到亿级别。传统的关系型数据
阅读全文
摘要：<! flowchart 箭头图标 勿删 财务平台进行分录分表以后，随着数据量的日渐递增，业务人员对账务数据的实时分析响应时间越来越长，体验性慢慢下降，之前我们基于mysql的性能优化做了一遍，可以说基于mysql该做的优化已经基本上都做了，本次是基于elasticsearch对其做进一步的性能优化
阅读全文
摘要：这本书知识范围广，但都浅尝辄止，可以用来开阔视野，由于之前看过李智慧的《大型网站技术架构》，有部分内容是重合的，所以翻起来比较快。这里只记录下之前没太了解的点第1章：交易型系统设计的一些原则开场白太棒了，想全部记录下来，本章还记录了一些设计的原则。1、一个好的设计要做到，解决现有需求和问题，把控实现
阅读全文
摘要：1、前言 谈及docker，避免不了需要熟练的记住好多命令及其用法，对于熟悉shell、技术开发人员而言，还是可以接受的，熟练之后，命令行毕竟是很方便的，便于操作及脚本化。但对于命令行过敏、非技术人员，进行docker部署、管理是比较头疼的，学习成本是很高的
阅读全文
摘要：如果你正在寻找性能监控工具，不妨看看以下推荐的这五款开源工具，这些工具目前已经可以替代付费工具了，你可以看看是否是你的最佳选择。本文推荐的五款开源工具目前是开源社区中最受欢迎的。 1. Stagemonitor Stagemonitor提供了一个Java监控代理程序，它是使用集群应用程序堆栈构建的。
阅读全文
摘要：前言 最近一年使用 Elasticsearch 完成亿级别日志搜索平台「ELK」，亿级别的分布式跟踪系统。在设计这些系统的过程中，底层都是采用 Elasticsearch 来做数据的存储，并且数据量都超过亿级别，甚至达到百亿级别。 所以趁着有空，就花点时间整理一下具体怎么做 Elasticsearc
阅读全文
摘要：作为京东商家不需要读懂搜索规则的数据处理，2019年算法的变革将继续加大力度，毕竟搜索的流量依旧是京东商家主要的流量获取入口，今天的文章着重解密京东搜索技术，帮助商家更好理解。助教：鹿鸣 | 作者：搜索书生今天是搜索书生陪伴您的第1124天
阅读全文
摘要：笔记内容：搭建ELK日志分析平台（上）—— ELK介绍及搭建 Elasticsearch 分布式集群笔记日期：2018 03 02 27.1 ELK介绍 27.2 ELK安装准备工作 27.3 安装es 27.4 配置es 27.5 curl查看es集群情况 ELK介绍 需求背景： 业务发展越来越庞
阅读全文
摘要：为什么用到ELK： 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集
阅读全文
摘要：OLTP与OLAP的介绍 数据处理大致可以分成两大类：联机事务处理OLTP（on line transaction processing）、联机分析处理OLAP（On Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基
阅读全文
摘要：监控非常有用，不仅能及时预警发现故障，事后还能提供详实的数据用于追查定位问题。监控也非常重要，从产品的角度来看，没有监控意味着产品是不可靠不安全的。从技术的角度来看，没有监控意味着分析bug就如同盲人摸象，不知下次故障何时发生，出现故障后毫无头绪，无法解决。说到监控大家首先想到的是运维监控，不过监控
阅读全文
摘要：最近在搞一个shell脚本启动jar文件个关闭jar文件的东东。搞得我都蛋疼了。今天晚上终于弄好了 话说，小弟的linux只是刚入门，经过各方查资料终于搞定了。话不多说，下面开始上小弟写的shell脚本 1 !/bin/bash 2 description: 启动重启server服务 3 端口号，根
阅读全文
摘要：<! flowchart 箭头图标 勿删 Telegraf+InfluxDB+Grafana搭建服务器监控平台 tags：网站 个人网站：https://wanghualong.cn/ 效果展示 本站服务器状态监控：https://status.wanghualong.cn 前言 要搭建服务器监控平
阅读全文
摘要：一、FeignClient接口，不能使用@GettingMapping 之类的组合注解 代码示例： @FeignClient("microservice provider user") public interface UserFeignClient { @RequestMapping(value
阅读全文
摘要：达达是全国领先的最后三公里物流配送平台。 达达的业务模式与滴滴以及Uber很相似，以众包的方式利用社会闲散人力资源，解决O2O最后三公里即时性配送难题（目前达达已经与京东到家合并）。 达达业务主要包含两部分：商家发单，配送员接单配送，如下图所示。 达达的业务规模增长极大，在1年左右的时间从零增长到每
阅读全文
摘要：最简单的计算方式就是根据服务器带宽与页面的大小 1.假设机房带宽为10Mbs，页面的大小为20KB（包含所有的js、css、图片） 同时并发量的理论值： 10 1024/(8 20) = 64个请求/秒 理论上1秒钟同
阅读全文
摘要：并发访问量是10分钟100人在线？还是每秒100个并发请求？ 如果是前者，以在10分钟内，100人每人平均访问10个pv，那么每秒请求数就是100 10/10/60=1.66，对服务器压力几乎就没有啦，用个单路双核的服务器轻松搞定。 如果是后者，至少就得一个四核处理器，2G内
阅读全文
摘要：TPS、并发用户数、吞吐量关系 摘要 主要描述了在性能测试中,关于TPS、并发用户数、吞吐量之间的关系和一些计算方法。 loadrunner TPS 目录[ ] 一．系统吞度量要素： 二．系统吞吐量评估： 软件性能测试的基本概念和计算公式 一、软件性能的关注点 二、软件性
阅读全文
摘要：<! flowchart 箭头图标 勿删 本文主要内容： 1、路由一个文档到一个分片 2、新建、索引和删除请求 3、取回单个文档 4、局部单个文档 5、多文档模式 6、理解一下ES深度分页(from size)的劣势 路由一个文档到一个分片 当索引一个文档的时候，文档会被存储到一个主分片中。 Ela
阅读全文