04 2024 档案

摘要:AWS S3提供了Lambda服务,详见Amazon S3 Object Lambda。 技术方案 作为兼容AWS S3能力的对象存储服务,交付Lambda特性时,关注点有: 实现方式 SDK 独立进程 部署位置 SDK,与客户应用集成在同一个进程内。 独立进程 与客户应用同机部署。 独立部署,占用 阅读全文
posted @ 2024-04-28 23:32 jackieathome 阅读(24) 评论(0) 推荐(0) 编辑
摘要:AWS S3没有定义图像处理类的接口,但在官方文档中提供了文章使用 Amazon S3 对象 Lambda 在检索图像时动态添加水印,借助Amazon S3 Object Lambda由开发者自行实现相关的能力。 技术方案 作为兼容AWS S3能力的对象存储服务,交付图像处理特性时,关注点有: 实现 阅读全文
posted @ 2024-04-27 23:25 jackieathome 阅读(64) 评论(0) 推荐(0) 编辑
摘要:AWS S3提供了事件通知的能力,即在客户应用访问对象存储时,对象存储服务可提供通知服务,支撑客户的特定应用场景,比如业务审计、计费等。 相关能力可参考官方文档。 相关API,如下: PutBucketNotification GetBucketNotification PutBucketNotif 阅读全文
posted @ 2024-04-27 22:35 jackieathome 阅读(24) 评论(0) 推荐(0) 编辑
摘要:依据AWS S3的Amazon S3 REST API Introduction,当前提供的对象列举接口,如下: ListObjectVersions ListObjects ListObjectsV2 上述接口仅支持使用前缀、对象版本作为检索条件,在业务交付时使用非常不方便。 为提供类似Every 阅读全文
posted @ 2024-04-27 22:03 jackieathome 阅读(64) 评论(0) 推荐(0) 编辑
摘要:本文中讨论的对象存储服务及接口,主要和AWS S3对标。 AWS S3提供的对象存储业务,与传统的POSIX规范相比,舍弃了很多特性,比如: 文件类型 硬链接 软链接 目录 文件相关的操作 追加写 随机写 截断 修改名称 目录相关的操作 创建目录 修改名称 删除目录 元数据 时间 crtime即创建 阅读全文
posted @ 2024-04-27 20:14 jackieathome 阅读(186) 评论(0) 推荐(0) 编辑
摘要:作为空降兵,承担新角色,接手新业务时,遇到的困难和问题会很多,比如: 团队方面 新组建的团队 人员编制不满 成员的能力不齐 成员的心态不稳定 对现有业务不熟悉 团队交付能力不足 业务方面 交付工作量大 进度要求高 质量要求高 新业务和老业务并行 周边支撑 外部支撑工作多,耗时、繁琐 响应要求快速、及 阅读全文
posted @ 2024-04-27 19:46 jackieathome 阅读(183) 评论(0) 推荐(0) 编辑
摘要:为什么需要分布式存储?这是个好问题,如下是我本人的部分理解。 分布式存储,相对应的是集中式存储。 作为存储系统,对客户应用而言,可以提供: 结构化业务,即块服务。 非结构业务,即如下: 文件,比如NFS、CIFS/SMB等。 对象,比如兼容AWS S3、MS Azure Blob存储等。 大数据,比 阅读全文
posted @ 2024-04-24 19:02 jackieathome 阅读(17) 评论(0) 推荐(0) 编辑
摘要:一切都是机缘巧合。 转岗前参与的项目出于各种原因无法继续,在原部门已无立足之处,于是阴差阳错之下,转岗加入了分布式存储的开发团队。按照领导的安排,在原服务SE的指导下,一起分担对象服务的方案设计和业务支撑工作。现产品的对象服务,对客户宣称兼容AWS S3,从产品资料看,已具备基本能力。 但现实开了一 阅读全文
posted @ 2024-04-24 19:01 jackieathome 阅读(20) 评论(0) 推荐(0) 编辑
摘要:本文是在阅读Introduction to Lustre* Architecture的Lustre SMB Gateway System Architecture时的笔记。 Lustre只支持Linux系统,但借助Samba可以支持SMB协议,进而对Windows主机提供文件访问能力。 参考资料 W 阅读全文
posted @ 2024-04-22 21:02 jackieathome 阅读(32) 评论(0) 推荐(0) 编辑
摘要:本文是在阅读Introduction to Lustre* Architecture的Lustre File System – Clients时的笔记。 Lustre客户端部署在客户的计算节点上,工作时不占用本地的硬盘。 不使用本地硬盘作为缓存或者后备空间。 对存储系统的访问均通过网络。 Lustr 阅读全文
posted @ 2024-04-22 21:01 jackieathome 阅读(213) 评论(0) 推荐(0) 编辑
摘要:本文是在阅读Introduction to Lustre* Architecture的Lustre HSM System Architecture时的笔记。 Hierarchical Storage Management (HSM) is a collection of technologies a 阅读全文
posted @ 2024-04-08 08:00 jackieathome 阅读(181) 评论(0) 推荐(0) 编辑
摘要:本文是在阅读Introduction to Lustre* Architecture的Traditional Network File Systems vs Lustre时的笔记。 Lustre is a distributed network file system and shares some 阅读全文
posted @ 2024-04-07 08:00 jackieathome 阅读(148) 评论(0) 推荐(0) 编辑
摘要:本文是在阅读Introduction to Lustre* Architecture的如下章节时的笔记。 Lustre – Fast, Scalable Storage for HPC Lustre Scalable Storage Lustre Building Blocks Lustre Sto 阅读全文
posted @ 2024-04-06 19:44 jackieathome 阅读(338) 评论(0) 推荐(0) 编辑
摘要:本文标题中提到的文件语义,指的是POSIX规范。 S3指的是AWS提供的对象存储服务以及相关接口。为方便描述,下文中以对象语义替代S3接口语义。 文件语义和对象语义存在比较多的差异。 对象语义不支持文件语义的部分特性,比如: 目录的操作,创建、删除、修改名称。 文件的部分操作,追加写、随机写、修改名 阅读全文
posted @ 2024-04-06 00:21 jackieathome 阅读(66) 评论(0) 推荐(0) 编辑
摘要:近来看了一些IBM的存储产品的资料,有一些收获。 依据存储软件和搭配硬件,IBM存储产品的组合,大致分类如下: 自研存储软件,搭配自研专有硬件 自研存储软件,搭配通用服务器硬件,比如IBM Storage Scale 自研存储软件,开放云服务,比如IBM Cloud storage 开源软件,搭配通 阅读全文
posted @ 2024-04-05 17:09 jackieathome 阅读(58) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示