随笔 - 579  文章 - 2 评论 - 35 阅读 - 56万
< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

随笔分类 -  大型系统架构

1 2 下一页
大型系统架构
Elasticsearch常用插件集合（转）
摘要：目前项目中使用的是elasticsearch-1.5.1版本，使用到的插件如下： 1. hq 监控，管理elasticsearch集群以及通过web界面来进行查询操作 项目地址：https://github.com/royrusso/elasticsearch-HQ 2. analysis-ik i 阅读全文
posted @ 2020-01-17 14:22 Dufe王彬 阅读(3167) 评论(0) 推荐(0) 编辑
快速理解高性能HTTP服务端的负载均衡技术原理(转)
摘要：1、前言 2、相关文章 《腾讯资深架构师干货总结：一文读懂大型分布式系统设计的方方面面》 《以微博类应用场景为例，总结海量社交系统的架构设计步骤》 《IM开发基础知识补课(四)：正确理解HTTP短连接中的Cookie、Session和Token》 3、什么是负载均衡？ 4、主流负载均衡方案有几种？ 阅读全文
posted @ 2019-04-18 10:06 Dufe王彬 阅读(833) 评论(0) 推荐(0) 编辑
腾讯基于Kubernetes的企业级容器云平台GaiaStack (转)
摘要：GaiaStack介绍 GaiaStack是腾讯基于Kubernetes打造的容器私有云平台。这里有几个关键词： GaiaStack的产品功能主要分为下面两个部分，分别是集群管理员的集群管理功能，以及集群用户的应用全生命周期管理的功能。 集群管理中包括对集群的部署、监控、告警、日志以及规划管理等。应 阅读全文
posted @ 2019-04-11 17:37 Dufe王彬 阅读(654) 评论(0) 推荐(0) 编辑
Ceph 集群整体迁移方案(转)
摘要：场景介绍：在我们的IDC中，存在着运行了3-6年的Ceph集群的服务器，这些服务器性能和容量等都已经无法满足当前业务的需求，在购入一批高性能机器后，希望将旧机器上的集群整体迁移到新机器上，当然，是保证业务不中断的前提下，再将旧机器下架回收。本文就介绍了一种实现业务不中断的数据迁移方案，并已经在多个生 阅读全文
posted @ 2019-04-11 16:11 Dufe王彬 阅读(1178) 评论(0) 推荐(0) 编辑
cept源代码目录结构详解_知识树(转)
摘要：1 简介该代码架构基于版本10.0.5整理，先整理根目录里的代码，再整理出src目录的架构。 2 代码架构2.1 Ceph源码根目录Ceph的根目录下包含了一些文件夹和若干编译、代码格式相关的文件。 [admin]：架设Document服务器，包括依赖内容并介绍修改doc的流程。 [bin]：目前只 阅读全文
posted @ 2019-04-11 13:45 Dufe王彬 阅读(416) 评论(0) 推荐(0) 编辑
教你如何迅速秒杀掉：99%的海量数据处理面试题(转)
摘要：教你如何迅速秒杀掉：99%的海量数据处理面试题本文经过大量细致的优化后，收录于我的新书《编程之法：面试和算法心得》第六章中，新书目前已上架京东/当当 作者：July出处：结构之法算法之道blog 前言 一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一 阅读全文
posted @ 2019-04-02 13:57 Dufe王彬 阅读(160) 评论(0) 推荐(0) 编辑
面试小结之Elasticsearch篇(转)
摘要：最近面试一些公司，被问到的关于Elasticsearch和搜索引擎相关的问题，以及自己总结的回答。 Elasticsearch是如何实现Master选举的？ Elasticsearch的选主是ZenDiscovery模块负责的，主要包含Ping（节点之间通过这个RPC来发现彼此）和Unicast（单 阅读全文
posted @ 2019-03-04 14:35 Dufe王彬 阅读(270) 评论(0) 推荐(0) 编辑
经典论文翻译导读之《Google File System》(转)
摘要：【译者预读】 GFS这三个字母无需过多修饰，《Google File System》的论文也早有译版。但是这不妨碍我们加点批注、重温经典，并结合上篇Haystack的文章，将GFS、TFS、Haystack进行一次全方位的对比，一窥各巨头的架构师们是如何权衡利弊、各取所需。 我们设计和实现了GFS来 阅读全文
posted @ 2018-08-08 16:02 Dufe王彬 阅读(364) 评论(0) 推荐(0) 编辑
The Google File System——论文详解(转)
摘要：“Google文件存储系统（GFS）是构建在廉价服务器之上的大型分布式系统。它将服务器故障视为正常现象，通过软件方式自动容错，在保证系统可用性和可靠性同时，大大降低系统成本。 GFS是Google整个分布式系统的基石，其他存储系统如Google BigTable、GoogleMegastore等系统 阅读全文
posted @ 2018-08-08 15:56 Dufe王彬 阅读(376) 评论(0) 推荐(0) 编辑
The Google File System 中文版
摘要：摘要 我们设计并实现了Google文件系统，一个面向分布式数据密集型应用的、可伸缩的分布式文件系统。虽然运行在廉价的日用硬件设备上，但是它依然了提供容错功能，为大量客户机提供了很高的总体性能。 虽然与很多之前的分布式文件系统有很多相同目标，但是，我们的设计已经受应用的负载情况和技术环境影响，现在以及 阅读全文
posted @ 2018-08-08 15:34 Dufe王彬 阅读(282) 评论(0) 推荐(0) 编辑
经典论文翻译导读之《Finding a needle in Haystack: Facebook’s photo storage》
摘要：https://github.com/chrislusf/seaweedfs 【译者预读】面对海量小文件的存储和检索，Google发表了GFS，淘宝开源了TFS，而Facebook又是如何应对千亿级别的图片存储、每秒百万级别的图片查询？Facebook与同样提供了海量图片服务的淘宝，解决方案有何异同 阅读全文
posted @ 2018-08-08 11:42 Dufe王彬 阅读(1162) 评论(0) 推荐(0) 编辑
etcd集群故障处理(转)
摘要：1. etcd安装 hosts如下 2. etcd配置 etcd02配置如下，详细见kubernetes1.9版本集群配置向导 3. 故障报错 3个节点做集群，直接关机后，etcd02故障，报错： wal的cec校验出错，谷歌了一下，没什么结果，于是移除这个etcd，再恢复在正常的etcd节点移除 阅读全文
posted @ 2018-08-05 18:19 Dufe王彬 阅读(5090) 评论(0) 推荐(0) 编辑
etcd集群部署与遇到的坑(转)
摘要：在k8s集群中使用了etcd作为数据中心，在实际操作中遇到了一些坑。今天记录一下，为了以后更好操作。 ETCD参数说明 —data-dir 指定节点的数据存储目录，这些数据包括节点ID，集群ID，集群初始化配置，Snapshot文件，若未指定—wal-dir，还会存储WAL文件； —wal-dir 阅读全文
posted @ 2018-08-05 16:04 Dufe王彬 阅读(353) 评论(0) 推荐(0) 编辑
对比深度学习十大框架：TensorFlow 并非最好？
摘要：http://www.oschina.net/news/80593/deep-learning-frameworks-a-review-before-finishing-2016 TensorFlow 链接：https://www.tensorflow.org/ 对于那些听说过深度学习但还没有太过专 阅读全文
posted @ 2018-03-14 15:59 Dufe王彬 阅读(296) 评论(0) 推荐(0) 编辑
好玩的Raft动画演示，原理秒懂
摘要：关于Raft原理，许多朋友也许不是很明白原理，下面的地址是一个好玩的Raft动画，看完后能够很快的掌握Raft原理： http://thesecretlivesofdata.com/raft/ 动画中的一些概念和简要原理总结如下： 一、Raft原理 在Raft中，每个结点会处于下面三种状态中的一种： 阅读全文
posted @ 2018-01-31 13:56 Dufe王彬 阅读(315) 评论(0) 推荐(0) 编辑
全球分布式数据库：Google Spanner（论文翻译）
摘要：本文由厦门大学计算机系教师林子雨翻译，翻译质量很高，本人只对极少数翻译得不太恰当的地方进行了修改。 【摘要】:Spanner 是谷歌公司研发的、可扩展的、多版本、全球分布式、同步复制数据库。它是第一个把数据分布在全球范围内的系统，并且支持外部一致性的分布式事务。本文描述了 Spanner 的架构、特 阅读全文
posted @ 2018-01-25 16:01 Dufe王彬 阅读(424) 评论(0) 推荐(0) 编辑
分布式系统设计系列 -- 基本原理及高可用策略 （转）
摘要：【分布式系统中的概念】 三元组 其实，分布式系统说白了，就是很多机器组成的集群，靠彼此之间的网络通信，担当的角色可能不同，共同完成同一个事情的系统。如果按”实体“来划分的话，就是如下这几种：1、节点 -- 系统中按照协议完成计算工作的一个逻辑实体，可能是执行某些工作的进程或机器2、网络 -- 系统的 阅读全文
posted @ 2018-01-18 17:36 Dufe王彬 阅读(818) 评论(0) 推荐(0) 编辑
Flume环境搭建_五种案例(转)
摘要：Flume环境搭建_五种案例 http://flume.apache.org/FlumeUserGuide.html A simple example Here, we give an example configuration file, describing a single-node Flum 阅读全文
posted @ 2018-01-04 14:08 Dufe王彬 阅读(529) 评论(0) 推荐(0) 编辑
c语言使用librdkafka库实现kafka的生产和消费实例(转)
摘要：关于librdkafka库的介绍，可以参考kafka的c/c++高性能客户端librdkafka简介，本文使用librdkafka库来进行kafka的简单的生产、消费 一、producer librdkafka进行kafka生产操作的大致步骤如下： 1、创建kafka配置 [cpp] view pl 阅读全文
posted @ 2018-01-04 11:55 Dufe王彬 阅读(21084) 评论(1) 推荐(4) 编辑
弱网下移动端网络连接处理策略(转)
摘要：〇、引言 作为一个移动端的开发者，一直觉得各个方面有有所了解，结果前几天突然被问到这个问题，一时语塞，发现其实求知的道路还是非常漫长的。这两天针对这个问题，到处查阅资料，大概整理作为记录。 一、背景 与有线网络通信相比，无线网络通信受环境影响比较大（例如高层建筑、用户移动、环境噪音、相对封闭环境等等 阅读全文
posted @ 2017-09-22 15:07 Dufe王彬 阅读(549) 评论(0) 推荐(0) 编辑

1 2 下一页
Copyright © 2025 Dufe王彬
Powered by .NET 9.0 on Kubernetes Powered by: 博客园
点击右上角即可分享
微信分享提示