随笔分类 - 存储
Ceph redis mysql HDFS
摘要：问题现象： 最近在研究zonegroup的配置操作，发现在配置zonegroup后修改了default zone，导致访问对象报404错误。 问题原因： rgw 日志 报异常’request for data in a different zonegroup ’ rgw源码： https://git
阅读全文
摘要：设置以上规则后，再创建的bucket 放置规则是新的ssd-placement规则了。 http://cephnotes.ksperis.com/blog/2014/11/28/placement-pools-on-rados-gw https://blog.widodh.nl/2013/11/ch
阅读全文
摘要：YY云平台Ceph Block应用实践 http://s3.yyclouds.com/public/YY%E4%BA%91%E5%B9%B3%E5%8F%B0Ceph%E5%AE%9E%E8%B7%B5.ppt 我写的书 《CEPH实战》 https://www.gitbook.com/book/f
阅读全文
摘要：S3 Browser 相对于s3cmd是一个很方便的操作S3的图形化界面工具。 以下是配置步骤： 下载网址：http://s3browser.com/ keygen破解版： http://appdol.com/2017/01/25/s3-browser-pro-6-5-9-crack-serial-
阅读全文
摘要：在视频点播的业务应用场景中，用户使用了ffmpeg工具做视频实时转码用。 而ffmpeg使用range 请求。而Cosbench不支持这种测试场景，所以需要修改源码支持这种测试场景。 HTTP 协议介绍： HTTP 请求头 Range 请求资源的部分内容(不包括响应头的大小), 单位是byte,即字
阅读全文
摘要：java： http://docs.aws.amazon.com/zh_cn/AmazonS3/latest/dev/acl-using-java-sdk.html AccessControlList acl = new AccessControlList(); acl.grantPermissio
阅读全文
摘要：https://item.jd.com/12154254.html 京东购买地址
阅读全文
摘要：使用Ceph RGW Cosbench 测试时，文档中没有写如何使用 path_style_access 模式的方法。 查看了一下cosbench源码发现已经支持，只是文档没有写。 提交了一个issue给社区： https://github.com/intel-cloud/cosbench/issu
阅读全文
摘要：一．系统吞度量要素： 一个系统的吞度量（承压能力）与request对CPU的消耗、外部接口、IO等等紧密关联。 单个reqeust 对CPU消耗越高，外部系统接口、IO影响速度越慢，系统吞吐能力越低，反之越高。 系统吞吐量几个重要参数：QPS（TPS）、并发数、响应时间 QPS（TPS）：每秒钟re
阅读全文
摘要：最近建设新机房，趁项目时间空余较多，正好系统的测试一下CEPH集群性能随OSD数目的变化情况， 新ceph集群测试结果如下： 1）4k随机读在3/6/9osd host下的性能差不多，吞吐量约50~60MB/s，IOPS约为14000，延时约4ms；osd数增加，上涨幅度很小 2）512k顺序读在3
阅读全文
摘要：需求： 云平台面板上需要支持为不同的用户创建不同的RGW 的AK/SK用户秘钥，以完成对象存储的用户隔离,并可以管理bucket和查看bucket容量信息。 分析：查阅CEPH官网文档 S3 API 没有用户管理的功能，而Admin Ops API有这个用户管理功能。 根据文档管理API的鉴权方式和
阅读全文
摘要：告警：HEALTH_WARN clock skew detected on mon.ip-10-25-195-6; 8 requests are blocked > 32 sec; Monitor clock skew detected 原因： MON可能被MON节点之间的重要的时钟偏移激烈的影响。
阅读全文
摘要：1.前言 Swift升级到2.0大版本后宣称开始支持纠删码，这其实是一个很有意义的特性，主要是能够在一定程度上解决3副本空间浪费太多的问题。因为3副本这一点是swift推广的最大障碍之一，成本的增加吓退了不少潜在客户。这次的改进有望消除客户顾虑，拓展更多用户 http://www.openstack
阅读全文
摘要：s3cmd 要是1.6.1 之后的版本 增加配置项： vi .s3cfg use_path_mode = True 源码参考： cat /usr/local/lib/python2.7/dist-packages/S3/Config.py S3cmd的代码如下： https://github.com
阅读全文
摘要：ceph rgw java sdk 使用域名访问服务时，如上默认情况下 bucket名会作为子域名，因为这个子域名未注册，所以无法访问。 设置s3client的配置项 PathStyleAccess 为true 即可解决此问题 代码 如下
阅读全文
摘要：一、/dev/shm理论 默认的Linux发行版中的内核配置都会开启tmpfs，映射到了/dev/下的shm目录。可以通过df 命令查看结果./dev/shm/是linux下一个非常有用的目录，因为这个目录不在硬盘上，而是在内存里。因此在linux下，就不需要大费周折去建ramdisk，直接使用/d
阅读全文
摘要：http://docs.ceph.com/docs/giant/cephfs/hadoop/ https://indico.cern.ch/event/524549/contributions/2185930/attachments/1290231/1921189/2016.06.13_-_Spar
阅读全文
摘要：庆祝一下！经过社区老司机的带路，昨天提交了第一个ceph pull request。实现了从0到1的突破，希望再接再厉提交更多代码到社区，为社区发展贡献一点自己力量。 提交的第一个被社区fix的bug：http://tracker.ceph.com/issues/16654 提交的第一个 pull
阅读全文
摘要：http://docs.ceph.com/docs/master/radosgw/s3/objectops/#initiate-multi-part-upload 根据分片上传的API描述，因为对同一个文件需要多个upload的HTTP请求。那么很显然，存在多个RGW负载均衡的场景下，不同的HTTP
阅读全文
摘要：import com.amazonaws.AmazonClientException; import com.amazonaws.auth.profile.ProfileCredentialsProvider; import com.amazonaws.services.s3.transfer.Tr
阅读全文
