Ceph - 随笔分类 - Leo-Yide

CephFS 快照

摘要：CephFS 快照的实现基于写时复制（COW）机制，通过操作特定目录结构完成。以下是具体实现步骤及注意事项： 1. 启用快照功能在创建快照前，需确保文件系统已开启快照支持： ceph fs set <fs_name> allow_new_snaps true # 例如：ceph fs set ce 阅读全文

posted @ 2025-03-02 19:53 Leo-Yide 阅读(3) 评论(0) 推荐(0) 编辑

ceph集群的数据恢复

摘要：在 Ceph 集群中，"数据恢复"（Data Recovery）是指当部分存储设备（如 OSD）发生故障或数据损坏时，集群通过冗余副本或纠删码机制自动修复和重建丢失数据的过程。以下是详细的解释：一、数据恢复的典型场景场景触发原因恢复机制 OSD 宕机物理磁盘损坏、服务器断电、网络中断等阅读全文

posted @ 2025-03-02 19:46 Leo-Yide 阅读(6) 评论(0) 推荐(0) 编辑

pg数设置的不是官方推荐的pg数（分阶段扩容）

摘要：分阶段扩容策略与最终目标值的区别。让我详细解释为什么案例中推荐 PG 800，但实际操作设置为 512： 1. 推荐值（800）与操作值（512）的关系 (1) 推荐值的计算逻辑公式: (OSD 总数 × 100) / 副本数 = (24 × 100) / 3 = 800 这是基于 Ceph 阅读全文

posted @ 2025-03-02 19:36 Leo-Yide 阅读(3) 评论(0) 推荐(0) 编辑

为什么元数据需要更高 PG 密度以及PG数量的具体会怎样影响到业务

摘要：关于元数据需要更高 PG 密度的原因，以及 PG 数量过多或过少的具体影响的详细说明：一、为什么元数据需要更高的 PG 密度？元数据池（如 cephfs_metadata）存储的是文件系统的目录结构、权限、文件属性等信息，其特点如下：特点说明对 PG 密度的要求高频小文件操作元数阅读全文

posted @ 2025-03-02 19:00 Leo-Yide 阅读(3) 评论(0) 推荐(0) 编辑

ceph集群PG数具体计算过程（我们有七个osd）

摘要：1. 当前 PG 总量计算总 PG 数 = 所有存储池的 pg_num 之和通过你的命令 ceph osd pool ls detail | grep pg_num，各池的 pg_num 如下：存储池名称 pg_num 副本数（size）实际 PG 副本数（pg_num × size） .m 阅读全文

posted @ 2025-03-02 18:52 Leo-Yide 阅读(6) 评论(0) 推荐(0) 编辑

数据分层管理策略之热备冷存

摘要：数据分层管理策略，既能保证热数据的高性能访问，又能利用冷存储的低成本优势进行长期备份。以下是具体的实现方法和注意事项： 1. 为什么需要将热数据备份到冷存储？降低成本：冷存储（如 HDD + 纠删码）的存储成本远低于热存储（如 SSD + 多副本）。灾难恢复：备份到冷存储可作为容灾恢复的离线副本阅读全文

posted @ 2025-03-02 18:24 Leo-Yide 阅读(6) 评论(0) 推荐(0) 编辑

冷数据（Cold Data）和热数据（Hot Data）

摘要：冷数据（Cold Data）和热数据（Hot Data）是存储系统中对数据访问频率和性能需求的分类，用于优化存储资源分配和成本管理。以下是它们的定义、区别及在 Ceph 中的管理策略： 1. 热数据（Hot Data）定义：访问频率高、需要快速读写的活跃数据。特点：高实时性：例如在线交易数据、阅读全文

posted @ 2025-03-02 18:21 Leo-Yide 阅读(4) 评论(0) 推荐(0) 编辑

创建cephfs文件系统

摘要：创建 CephFS 文件系统 1. 创建 CephFS 的命令 ceph fs new oldboyedu-cephfs cephfs_metadata cephfs_data 参数说明： oldboyedu-cephfs：自定义的 CephFS 文件系统名称。 cephfs_metadata：元数阅读全文

posted @ 2025-03-02 18:21 Leo-Yide 阅读(2) 评论(0) 推荐(0) 编辑

基于上一个项目的第一个标题的一些注解

摘要：📌 技术术语修正与解释原句问题分析原句：将可道云存储后端从阿里云OSS无缝迁移至Ceph对象存储（RGW）误解点：括号中的RGW可能被理解为“Ceph对象存储”的缩写，但实际上RGW是Ceph对象存储的实现组件而非全称。准确表述建议 - Ceph对象存储（RGW） + Ceph对象存储（通阅读全文

posted @ 2025-03-01 18:30 Leo-Yide 阅读(2) 评论(0) 推荐(0) 编辑

Ceph对象存储与RGW（对象存储网关）

摘要：Ceph对象存储与RGW（对象存储网关）的关系解析一、核心概念区分概念定义角色定位对象存储一种存储架构，通过RESTful API（如S3/Swift）管理非结构化数据（文件、图片等）。服务形态（如AWS S3、阿里云OSS） RGW（RADOS Gateway） Ceph提供的对象存阅读全文

posted @ 2025-03-01 18:21 Leo-Yide 阅读(7) 评论(0) 推荐(0) 编辑

可道云迁移至Ceph对象存储项目方案

摘要：可道云迁移至Ceph对象存储项目方案（代号：Kodo2Ceph）一、项目目标将可道云存储后端从阿里云OSS无缝迁移至Ceph对象存储（RGW），实现： ✅ 数据主权控制 ✅ 成本降低50%+ ✅ 兼容S3 API的平滑过渡二、技术可行性分析能力对比阿里云OSS Ceph RGW 兼容性方案阅读全文

posted @ 2025-03-01 18:21 Leo-Yide 阅读(6) 评论(2) 推荐(0) 编辑

常用的硬盘对比

摘要：HDD（机械硬盘）、SSHD（混合硬盘）和 SSD（固态硬盘）的核心区别对比 📊 存储类型对比表特性 HDD（机械硬盘） SSHD（混合硬盘） SSD（固态硬盘）工作原理磁头+旋转磁盘（机械读写） HDD + 小容量SSD缓存闪存芯片（无机械部件）速度慢（100-200 MB/s）中阅读全文

posted @ 2025-03-01 18:17 Leo-Yide 阅读(6) 评论(0) 推荐(0) 编辑

文件系统

摘要：一、本地文件系统（单机存储）直接管理物理磁盘或块设备（如硬盘、SSD、Ceph RBD），适用于单机存储。文件系统特点典型场景 XFS 高性能、支持大文件（EB级）、日志型、在线扩容数据库、虚拟机、海量数据 ext4 稳定、兼容性好、支持日志、最大文件16TB Linux通用文件系统 Bt 阅读全文

posted @ 2025-02-27 09:23 Leo-Yide 阅读(7) 评论(0) 推荐(0) 编辑

Ceph数据分布的基本单元-PG

摘要：PGs 就是 Placement Groups 的复数形式，也就是多个 PG 的意思。每个 PG 是一个逻辑单元，负责管理一部分对象（数据）。下面我用更通俗的方式解释一下： PG 是什么？ PG 是 Ceph 中数据分布的基本单位，你可以把它想象成一个“小组”或“容器”。每个 PG 负责管理一部阅读全文

posted @ 2025-02-24 09:50 Leo-Yide 阅读(4) 评论(0) 推荐(0) 编辑

Ceph架构

摘要：架构图梳理架构图可以从上到下分为三层，分别描述了 Ceph 系统的不同部分： 1. 上层架构（客户端和 API）开发环境：开发者可以通过多种编程语言（如 Python、Java、C++ 等）使用 Ceph 提供的 API（如 LIBRADOS、RADOSGW）来访问 Ceph 系统。开发机（阅读全文

posted @ 2025-02-24 09:48 Leo-Yide 阅读(9) 评论(0) 推荐(0) 编辑

K8s与Ceph深度整合

摘要：Kubernetes与Ceph深度整合实战：从零搭建高可用云原生存储系统一、存储选型：为什么说Ceph是云原生的最佳拍档？传统存储的三大痛点：扩展性差：SAN扩容像搬家，NAS性能遇到天花板成本高企：商业存储设备价格堪比豪华跑车运维复杂：不同存储系统需要不同管理界面 Ceph的破局之道：阅读全文

posted @ 2025-02-24 09:27 Leo-Yide 阅读(16) 评论(0) 推荐(0) 编辑

随笔分类 - Ceph

搜索

常用链接

随笔分类

随笔档案

相册

阅读排行榜

评论排行榜

推荐排行榜

最新评论