摘要： 1. Client 发起文件上传请求, 通过 RPC 与 NameNode 建立通讯, NameNode 检查目标文件是否已存在, 父目录是否存在, 返回是否可以上传 2. Client 请求第一个 block 该传输到哪些 DataNode 服务器上 3. NameNode 根据配置文件中指定的备 阅读全文

摘要： 一、发现问题 下面是线上机器的cpu使用率，可以看到从4月8日开始，随着时间cpu使用率在逐步增高，最终使用率达到100%导致线上服务不可用，后面重启了机器后恢复。 二、排查思路 简单分析下可能出问题的地方，分为5个方向： 1.系统本身代码问题 2.内部下游系统的问题导致的雪崩效应 3.上游系统调用 阅读全文

摘要： 本文整理自滴滴出行消息队列负责人 江海挺 在Apache RocketMQ开发者沙龙北京站的分享。通过本文，您将了解到滴滴出行： 1. 在消息队列技术选型方面的思考； 2. 为什么选择 RocketMQ 作为出行业务的消息队列解决方案； 集群高吞吐量下稳定 3. 如何构建自己的消息队列服务； 4. 阅读全文

摘要： 1.基础 1.1 时序数据的定义 什么是时间序列数据（Time Series Data，TSD，以下简称时序）从定义上来说，就是一串按时间维度索引的数据。用描述性的语言来解释什么是时序数据，简单的说，就是这类数据描述了某个被测量的主体在一个时间范围内的每个时间点上的测量值。它普遍存在于IT基础设施、 阅读全文

摘要： hadoop文件分布式系统（hdfs）client：人们坐在我面前，请求我去读写数据namenode：我只有一个，我来指挥这里所有的事情datanode：我们存储数据，我们很多人，有时候会有几千人 在HDFS集群中写入操作①用户请求： “ 用户：‘让我们写一些数据吧，client先生，请给我写入20 阅读全文

摘要： 前言 本文总结了一些常见的线上应急现象和对应排查步骤和工具。分享的主要目的是想让对线上问题接触少的同学有个预先认知，免得在遇到实际问题时手忙脚乱。毕竟作者自己也是从手忙脚乱时走过来的。 只不过这里先提示一下。在线上应急过程中要记住，只有一个总体目标：尽快恢复服务，消除影响。 不管处于应急的哪个阶段， 阅读全文

摘要： WAF简介 什么是WAF Web应用防护系统（也称：网站应用级入侵防御系统 。英文：Web Application Firewall，简称： WAF）。利用国际上公认的一种说法：Web应用 防火墙 是通过执行一系列针对HTTP/HTTPS的 安全策略 来专门为Web应用提供保护的一款产品。 WAF的 阅读全文

摘要： 本文内容是Instrumenting a library的笔记，一般来说不需要自己写跟踪代码库，因为Zipkin已经有许多现有的各个语言的代码库了（Existing instrumentations）阅读本文只是为了更加深入的了解Zipkin的内部设计而已。 概述 你的代码库需要解决三个问题 用什么 阅读全文

摘要： 本操作参照InfluxDB官网：InfuxDB 使用的Red Hat和CentOS用户可以安装InfluxDB最新的稳定版本 yum包管理器: cat <<EOF | sudo tee /etc/yum.repos.d/influxdb.repo [influxdb] name = InfluxDB 阅读全文

摘要： golang jwt使用golang jwt使用中遇到的一个坑，特此记录。 具体描述：因为公司需要，现有架构jwt生成token的代码是java实现的，然后现在在golang中需要对此token进行解析。java 用到的jar包： io.jsonwebtoken.jjwt 0.9.0golang 用 阅读全文