随笔分类 - sum_Big Data
摘要：（接触了Zipkin，权将所了解或理解的记于此，以备忘） 分布式追踪系统 随着业务发展，系统拆分多个微服务。此时对于一个前端请求可能需要调用多个后端端服务才能完成，当整个请求变慢或不可用时，我们是无法得知该请求是由某个或某些后端服务引起的。此时就需要有某种方式来定位到故障位，这就是分布式系统调用跟踪
阅读全文
摘要：对象存储 是什么 对象存储（Object Storage）是一种无目录结构（即扁平）、无固定数据格式（即支持任意数据类型）、支持海量数据、安全、低成本、高可靠的云存储服务。对象存储是由AWS首先推出的一个存储产品形态，AWS的S3（Amazon Simple Storage Service ) 协议
阅读全文
摘要：1、概述 Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构(http://hadoop.apache.org/)，用java语言开发而成。其可以在大量计算机组成的集群中对海量数据进行分布式计算，让用户在不了解分布式底层细节的情况下，开发出可靠、可扩展的分布式计算应用。Hadoo
阅读全文
摘要：1 什么是Docker 1.1 What Docker是一种基于Linux内核实现的虚拟化技术，其在容器的基础上进一步封装了文件系统、网络、进程隔离等等，从而极大地简化了容器的创建和维护。Docker使用 Google 公司推出的 Go 语言 进行开发实现，基于 Linux 内核的namespace
阅读全文
摘要：转自美团技术博客，原文地址：https://mp.weixin.qq.com/s/67HR4e8mHcuOcPl4h7FEnQ 常见性能优化策略分类 代码 之所以把代码放到第一位，是因为这一点最容易引起技术人员的忽视。很多技术人员拿到一个性能优化的需求以后，言必称缓存、异步、JVM等。实际上，第一步
阅读全文
摘要：0 JStorm概述 JStorm是一个分布式的实时计算引擎。从应用的角度，JStorm应用是一种遵守某种编程规范的分布式应用；从系统角度， JStorm是一套类似MapReduce的调度系统； 从数据的角度，JStorm是一套基于流水线的消息处理机制。 详情见：JStorm概叙及应用场景 1 JS
阅读全文
摘要：Kafka是一种基于发布订阅模式的分布式的消息队列系统，原本开发自LinkedIn，用作LinkedIn的活动流（ActivityStream）和运营数据处理管道（Pipeline）的基础。现在它已被多家不同类型的公司作为多种类型的数据管道和消息系统使用。具有高吞吐量、高可用、高可扩展性等特点。 消
阅读全文
摘要：、 总结： what：分布式应用的协调服务。用于对分布式系统进行【配置管理/命名管理、节点管理、leader选举、分布式锁、队列功能】等。zookeeper自身也是个分布式系统，有多个节点，具备强一致性（借助Paxos算法）、容错性、高可用等特点。 原理：从设计模式角度来看，是一个基于观察者模式（K
阅读全文