摘要: 本文将总结一次为Ceph集群加装万兆内网(cluster network),后因需要对比实验来研究分布式存储集群在计算,网络,存储过程中各部分耗时比例,而将Ceph整体系统又整体搬移至万兆网的过程。但由于原始集群环境上还有其他不同的业务,为了不影响其他任务工作,本文确保以前的环境,配置,设备等不变, 阅读全文
posted @ 2019-04-29 16:49 Freedom314 阅读(2157) 评论(1) 推荐(0) 编辑
摘要: 由于科学计算实验的需求,需要使用InfiniBand做一个持久性内存全互联的分布式存储系统。其中从网卡到交换机使用Mellanox全家桶,而在Mellanox网卡与交换机的使用过程中还是遇到了不少的问题。在此将博主从0到RDMA的实践过程做一个总结,以避免大家在做此类研究的时踩坑、浪费时间。 1.首 阅读全文
posted @ 2019-12-06 16:25 Freedom314 阅读(10951) 评论(0) 推荐(0) 编辑
摘要: 楼主在实现一分布式存储系统时,拟采用Redis来做一个pull的过程来进行多机之间的数据拉取,于在此将redis安装部署过程分享一下,并学习波Redis的内部存储结构,Redis中间的hash环问题,以及Redis集群的主从模式。 redis单机安装 #直接复制下载链接,通过wget下载 $ wge 阅读全文
posted @ 2019-05-08 14:41 Freedom314 阅读(466) 评论(0) 推荐(0) 编辑
摘要: 直接上干货: ceph自动挂载原理 系统启动后,ceph 通过扫描所有磁盘及分区的 ID_PART_ENTRY_TYPE 与自己main.py中写死的osd ready 标识符来判断磁盘(及其分区)是否准备好自动挂载(journal ,block, osd 同是一个道理) main.py中记载的状态 阅读全文
posted @ 2019-04-03 17:33 Freedom314 阅读(1971) 评论(0) 推荐(0) 编辑
摘要: 子网集群通过接入公网的服务器Iptables转发上网 1. 对iptables进行初始化工作 清空filter表 iptables -F 清空nat表 iptables -t nat -F 默认禁止所有传入连接 iptables -P INPUT DROP 默认允许所有传出连接 iptables - 阅读全文
posted @ 2018-07-03 15:13 Freedom314 阅读(244) 评论(0) 推荐(0) 编辑
摘要: 1. 执行步骤:ceph-deploy new node 机器:centos 7.5 ceph Luminous版本 源:阿里云 问题: Traceback (most recent call last): File "/usr/bin/ceph-deploy", line 18, in <modu 阅读全文
posted @ 2018-06-30 16:00 Freedom314 阅读(8252) 评论(0) 推荐(0) 编辑
摘要: Ceph是目前炙手可热的一个统一分布式存储系统,具有优异的性能、可靠性、可扩展性。其可轻松扩展到数 PB 容量, 支持多种工作负载的高性能(每秒输入/输出操作[IOPS]和带宽),具有极其高的可靠性。Ceph对比HDFS优势在于易扩展,无单点。HDFS是专门为Hadoop这样的云计算而生,在离线批量 阅读全文
posted @ 2018-03-18 16:36 Freedom314 阅读(8765) 评论(0) 推荐(0) 编辑
摘要: 1.正则表达式基本语法 两个特殊的符号'^'和'$'。他们的作用是分别指出一个字符串的开始和结束。例子如下: "^The":表示所有以"The"开始的字符串("There","The cat"等);"of despair$":表示所以以"of despair"结尾的字符串;"^abc$":表示开始和 阅读全文
posted @ 2016-09-20 21:11 Freedom314 阅读(1709) 评论(0) 推荐(0) 编辑
摘要: 二话不说,先看一个例子 运行结果 21213 12 12qweqwe是不是很interesting,本来是探究++与解指针运算符*的优先级的问题,引发了一个有关cout执行顺序的问题。其实这两的优先级一样都为2 为什么p2的输出就成了这个样子,而并不是我们所认为的2 2 12. 种种事实表明,cou 阅读全文
posted @ 2016-09-12 12:29 Freedom314 阅读(1907) 评论(0) 推荐(0) 编辑
摘要: 1.计数排序是一种非常快捷的稳定性强的排序方法,时间复杂度O(n+k),其中n为要排序的数的个数,k为要排序的数的组大值。计数排序对一定量的整数排序时候的速度非常快,一般快于其他排序算法。但计数排序局限性比较大,只限于对整数进行排序。计数排序是消耗空间发杂度来获取快捷的排序方法,其空间发展度为O(K 阅读全文
posted @ 2016-09-06 20:36 Freedom314 阅读(22397) 评论(2) 推荐(0) 编辑