03 2022 档案
摘要:目录 glusterfs简介 glusterfs部署 glustefs分布式存储优化 glusterfs在企业中应用场景 参考文章地址 一、glusterfs简介 Glusterfs是一个开源的分布式文件系统,是Scale存储的核心,能够处理千数量级的客户端。是整合了许多存储块(server)通过I
阅读全文
摘要:Chia以及它的山寨币的默认mainnet目录都是在C盘的用户文件夹下,很容易出现C盘空间不足的情况,网上有教程是用命令链接到其他盘,下面介绍一种官方的转移方法。 原理 其实Chia是支持自定义数据目录的,配置一个环境变量告诉Chia该把数据目录放在哪里就可以了。 注意: 电脑只有Chia一个钱包客
阅读全文
摘要:基本概念 一、Rados本身是一个完整的对象存储系统,Ceph所有的存储功能都是基于Rados实现。 二、MonMon负责监控集群管理元数据表。同时维护着Ceph集群中的各种Map图,比如OSD Map、Monitor Map、PG Map和CRUSH Map,这些Map统称为Cluster Map
阅读全文
摘要:目录 Ceph 细节原理 OSD daemon PG 的概念 PG 中 OSD 组长是如何建立的 PG 的状态 PG 内 OSD 的数据校验方式 pool:存储池 Ceph 读写流程 Ceph 细节原理 OSD daemon osd daemon 状态: 默认每2s汇报自己的状态给monitor (
阅读全文
摘要:前面我们提到了Ceph是一个支持统一存储架构的分布式存储服务。简单介绍了Ceph的基本概念和基础架构包含的组件,其中最重要的就是底层的RADOS和它的两类守护进程OSD and Monitor。上篇文章我们还挖了一个坑,我们提到了CRUSH。 是的,我们这篇教程就是一篇不完整的Ceph教材,因为我们
阅读全文
摘要:这两个程序都是开源的,但公司可以购买连接到 Ceph 和 Gluster 的第三方管理解决方案。最流行的管理工具是: Ceph : InkTank、RedHat、Decapod、英特尔、 Gluster: 红帽 结论
阅读全文
摘要:在寻找无限廉价存储的过程中,对话最终找到了比较Ceph 与 Gluster的方法。您的团队可以使用这两种开源软件平台来存储和管理大量数据,但是存储方式和由此产生的检索复杂性将它们分开。 这两个程序都被归类为 SDS,或“软件定义的存储”。由于Ceph和Gluster是开源的,因此它们提供了优于专有解
阅读全文
摘要:介绍 免责声明:本文面向消费者和爱好者。 如果您想在家中运行自己的路由器,Raspberry Pi 4 Model B 1可能是一个很好的硬件选择: 它相当便宜 它足够快 它可以饱和它的千兆网络端口 它是省电的 关键问题似乎是它只有一个单一的网络接口。如果你构建一个路由器,你至少需要两个: 第一个连
阅读全文
摘要:客观的 此测试的目的是展示使用 INTEL SSDPEYKX040T8 NVMe 驱动器在 Ceph 集群(特别是 CephFS)中可实现的最大性能。为避免指控供应商作弊,使用行业标准 IO500 基准测试来评估整个存储设置的性能。 剧透:尽管只使用了 5 节点的 Ceph 集群,因此无法正式提交结
阅读全文
摘要:汇总ARM架构Ceph优化思路,然后逐步实践。目前以资料整理为主,待实践 ARM架构的Ceph优化主要思路是基于ARM架构的特性,充分利用硬件加速、缓存以及库优化,实现性能加速。 Ceph共享库优化¶ ARM共享库的优化思路是采用ARM CPU特性来优化Ceph共享库: 优化UTF8字符串处理 可以
阅读全文
摘要:RDMA简介¶ 远程直接内存访问Remote Direct Memory Access(RDMA)是一种允许网络中计算机在主内存中交换数据而无需经过每个计算机的处理器、缓存或操作系统。类似本地的直接内存访问(Direct Memory Access, DMA),RDMA提升了网络带宽和性能,因为它释
阅读全文
摘要:如果磁盘之前已经有分区表,但是分区表没有对齐,你没有执行 mklabel gpt 就执行 mkpart 就可能会提示磁盘分区从0开始对齐需要接近扇区,这个警告需要通过使用 -a optimal 参数来修正: Warning: You requested a partition from 0.00GB
阅读全文
摘要:正如 Gluster和Ceph对比 辨析,GlusterFS是在文件系统之上构建的分布式文件系统,所以 Linux文件系统 的构建会给GlusterFS带来更多的特性和功能。例如,结合卷管理可以实现快照。本文实践是快速部署一个简化版本的GlusterFS集群,在文件系统存储层采用直接基于磁盘设备创建
阅读全文
摘要:2018 年 8 月 19 日星期日 类别:存储 介绍 在这篇博文中,我将尝试解释为什么我认为Ceph是一个如此有趣的存储解决方案。阅读完这篇博文后,您应该对 Ceph 有一个很好的高级概述。 我写这篇博文纯粹是因为我是一个存储爱好者,而且我发现 Ceph 技术很有趣。 什么是 Ceph? Ceph
阅读全文
摘要:原文地址:https://www.reddit.com/r/sysadmin/comments/9onemk/ceph_vs_glusterfs/ https://ganeti.org/features.html 完全维护的功能 一般特征 1-100 个物理节点的集群大小(推荐) 自动资源/实例分配
阅读全文
摘要:一年前,我们的好伙伴、同事和企业存储专家出现并说:“嗨,伙计们,我有一个很酷的 90 TB 存储,具有所有这些花哨的功能,你知道的。” 我不能说我们太需要它,但拒绝它会相当愚蠢。所以我们配置了几个备份并忘记了它。 不时地,我们使用该设备在主机之间移动大文件或为 Postgre 副本构建 WAL 等。
阅读全文
摘要:GlusterFS崩溃测试¶ 部署GlusterFS是非常轻而易举的,甚至是最容易部署的分布式文件系统。然而,像所有看似简单却功能强大的 Distributed System Atlas 一样,在 rabbit hole 中是无数艰辛的技术组合。 在 部署Gluster 6 生产环境是否能够满足苛刻
阅读全文
摘要:https://go.qct.io/wp-content/uploads/2018/08/Reference-Architecture-QCT-and-Red-Hat-Gluster-Storage-Performance-and-Sizing-Guide.pdf
阅读全文
摘要:https://cloud-atlas.readthedocs.io/zh_CN/latest/gluster/admin/cockpit-gluster.html#cockpit-gluster 插件
阅读全文
摘要:在学习和使用Gluster/Ceph的时候,一直有些疑惑,为什么会有有这样两个著名的开源分布式存储、两者的差异是什么、哪个更适合我的应用场景、哪个未来发展方向更好?并且,Gluster和Ceph都属于Red Hat所有,这家在开源界举足轻重的公司是如何考虑存储战略,又会如何发展这两个开源项目? 注解
阅读全文
摘要:2.5. 红帽 Ceph 存储的网络注意事项 云存储解决方案的一个重要方面是,由于网络延迟和其他因素,存储集群可能会耗尽 IOPS。此外,由于带宽限制,存储集群可能会在存储集群耗尽存储容量之前很久就耗尽吞吐量。这意味着网络硬件配置必须支持所选的工作负载,以满足价格与性能的要求。 存储管理员更喜欢存储
阅读全文
摘要:从IT时代走向DT时代 世界正由IT时代走向DT时代,IT这个词我们都已不再陌生,关于DT,你又知道多少呢?今天主要想跟大家讨论一下IT 和DT,很多人要问DT是什么?现在小i就来为你娓娓道来。 大家都知道IT, IT 的意思是Information Technology。IT 是以自我控制、自我管
阅读全文
摘要:扇区落盘是 Filecoin 密封的最后一个阶段。也是至关重要的阶段,容易一着不慎,满盘皆输。造成辛辛苦苦几十年,一下回到解放前的尴尬结局。本文我们来聊聊 Filecoin 挖矿存储的技术选型。 很多同学问我:请问我组 Raid 挖 Filecoin 可以吗?Filecoin 存储是组 Raid 好
阅读全文
摘要:一、IO落盘原理 一个I/O请求,从应用层到底层块设备,路径如下图所示: 从上图可以看出IO路径是很复杂的。我们将IO路径简化一下: 一个I/O请求进入block layer之后,可能会经历下面的过程: Remap: 可能被DM(Device Mapper)或MD(Multiple Device,
阅读全文
摘要:日前,在2020年度成都分布式存储峰会上,雅典娜云池与合作伙伴共同宣布,将投资50亿元参与区块链存储项目的生态建设。作为该领域的头部企业,雅典娜云池集领先的算法、高效的集群调度系统、完善的运维体系、先进的区块链生态应用开发于一体,落地分布式存储计算中心,为数据需求企业及行业提供计算与存储服务。 技术
阅读全文
摘要:什么样的商业存储产品才能更适用区块链存储的应用?首先我们区先要分存储系统。市场上的存储系统有多种分类方法,常见的分类方式是按照架构和协议区分的。 从架构上分为Scale-up(纵向扩展)集中式和Scale-out(横向扩展)分布式两类。Scale-up架构受存储控制器扩展数量限制,常见的多为2控或4
阅读全文