MapReduce原理讲解
摘要:简介本文主要介绍MapReduce V2的基本原理, 也是笔者在学习MR的学习笔记整理。本文首先大概介绍下MRV2的客户端跟服务器交互的两个协议, 然后着重介绍MRV2的核心模块MRAppMaster(简称MRAM), 最后再介绍一些杂项知识点。【广告】 如果你喜欢本博客,请点此查看本博客所有文章...
阅读全文
HDFS原理讲解
摘要:简介 本文是笔者在学习HDFS的时候的学习笔记整理, 将HDFS的核心功能的原理都整理在这里了。 【广告】 如果你喜欢本博客,请点此查看本博客所有文章: "http://www.cnblogs.com/xuanku/p/index.html" HDFS的基础架构
见下图, 核心角色: C...
阅读全文
大数据相关开源系统简介汇总
摘要:简介
本片博客介绍大数据相关的开源系统以及他们对应的一句话简介, 对于各位想大概了解大数据都有哪些开源系统的同学有帮助。 【广告】 如果你喜欢本博客,请点此查看本博客所有文章: "http://www.cnblogs.com/xuanku/p/index.html" 各种相关开源系统简介
...
阅读全文
存储系统科普——单机引擎介绍
摘要:简介
该篇blog只是存储系列科普文章中的第三篇,所有文章请参考: "博客所有文章" 在工程架构领域里,存储是一个非常重要的方向,这个方向从底至上,我分成了如下几个层次来介绍: 1. 硬件层:讲解磁盘,SSD,SAS, NAS, RAID等硬件层的基本原理,以及其为操作系统提供的存储界面...
阅读全文
工程架构方向需要关注的几个顶级会议
摘要:简介
本文主要是给想关注国际会议,但是国际会议太多又不知道应该主要关注哪个会议的同学准备的。 工程架构方向主要分为操作系统,存储,计算,网络几个方向,本文会在这几个方向挑选1~2个大家比较公认的顶级会议推荐给大家。 操作系统(综合型会议)
1. OSDI & SOSP OSDI全称为: ...
阅读全文
在线服务之性能测试工具科普
摘要:简介
本文主要介绍几个常见的性能测试工具。 本博客所有文章: "http://www.cnblogs.com/xuanku/p/index.html" 性能测试工具
在这篇文章中,我们介绍常见性能测试工具的使用,这些工具在我们平时追查问题,尤其是性能问题的时候特别有用。 平时在服务器上调...
阅读全文
在线服务之socket编程科普
摘要:## 简介本篇文章是介绍一个典型的在线C++服务的最底层socket管理是如何实现的。文章会从一个最简单的利用socket编程基础API的一个小程序开始,逐步引入现在典型的select,epoll机制,并附上相关demo代码。## socket编程### 基于TCP协议的网络程序TCP协议通讯流程如...
阅读全文