摘要: 选型需要考虑,但不限于如下几个方面: 自建 nfs 选型,moosefs,ceph,seaweedfs,lustre,glusterfs,FastDFS 等。 如何平滑迁移?大文件、软链不少,小文件较多,迁移耗时长,且迁移过程中要保证不停服运行。 要考虑做隔离,除了给平台提供服务,还会给其他产品提供 阅读全文
posted @ 2019-06-01 17:12 VeyronC 阅读(4371) 评论(0) 推荐(1) 编辑
摘要: 批量操作集群可以借助 ,封装之 master挂了怎么办 如果机器能启动起来,则恢复之。 如果ip没变,只是数据全丢失了,把期中一台metalogger服务器的metadata全部拷贝过来(假设元数据目录是 ),然后执行 恢复 如果机器完全崩了,想快速换另一台master,则 用其中一台metalog 阅读全文
posted @ 2019-06-01 17:01 VeyronC 阅读(1273) 评论(0) 推荐(0) 编辑
摘要: 平台原来挂载的/mnt/ccdbfs不变,由于里面有很多软链接,因此如果迁移后把平台代码里面的存储路径改了的话,万一有没改的地方就不好处理了。 故先设计双写,保证在复制老数据的时候, /mnt/ccdbfs 和/mnt/mfs同时写入新数据,保证数据一致性。等全部复制完后,观察没有diff了,再切换 阅读全文
posted @ 2019-06-01 17:00 VeyronC 阅读(863) 评论(0) 推荐(0) 编辑
摘要: 不同机器的用户uid可能不同,比如在A机器的work用户uid是502,另一台B机器其work用户uid是500。 所以导致,如果B机器挂载NFS后,修改了用户所属为work用户,在A机器却可能看到 查看A机器用户chrysan的id 因此如果主要是B机器在使用NFS服务,A机器用户不要随意修改其用 阅读全文
posted @ 2019-06-01 16:58 VeyronC 阅读(1538) 评论(0) 推荐(0) 编辑
摘要: 公司原来提供的ccdbfs集群服务即将下线,需要在一个月内迁移完毕,并且后续提供持续稳定、高可用NFS服务。 预估20TB数据,假设拷贝速率100MB/s。 至少需要两三天。事实上,在两个NFS集群间拷贝传输速率没这么快,而且大量小文件的情况下,会更慢,降到10MB/s是非常正常的。如何平滑、如何过 阅读全文
posted @ 2019-06-01 16:56 VeyronC 阅读(652) 评论(0) 推荐(0) 编辑
摘要: 每日定时备份脚本 mysql数据库从一台服务器迁移到另一台服务器上 备份: 恢复: 先进入数据库中 如果两台服务器的数据库版本不兼容,则在root用户下执行下面的命令 参考: http://www.cnblogs.com/SQL888/p/5751631.html https://dev.mysql 阅读全文
posted @ 2019-06-01 16:53 VeyronC 阅读(125) 评论(0) 推荐(0) 编辑
摘要: 用了 hexo 框架中的某个主题,但是想自己定制做些修改,网上一搜全是 NexT 主题的修改方法。没有自己选那套怎么办? 别担心,把握住以下两个要点即可: 重点关注themes目录(博客模板) 如果想修改地方有特殊的一些文字,或者用开发者工具能看到特殊html属性名,可以直接在博客项目文件夹全局搜索 阅读全文
posted @ 2019-06-01 16:51 VeyronC 阅读(525) 评论(0) 推荐(0) 编辑
摘要: 之前自己做了很多笔记,但都是在私有云笔记,有些经典,有些凌乱,独乐乐不如众乐乐,想了想,还是做个博客吧,复习整理的过程中,希望有缘人有所收获~ 个人静态博客,其实用不到专门买服务器,用个好点的模板,搜索、图床、统计访客、评论等功能都一应俱全,且搭建方便。 网上搭建方式纷繁复杂,各式各样,该文总结了一 阅读全文
posted @ 2019-06-01 16:50 VeyronC 阅读(1193) 评论(0) 推荐(0) 编辑
摘要: [toc] python脚本中经常会需要进行时间格式字符串和时间戳的转换,另外,也记一下datetime的用法。 用到time模块的地方都需要引入 字符串时间变成时间戳 转换成的时间戳是float类型 时间戳转年月日时间样式的字符串 datetime格式变时间戳 用pymysql从数据库取出来的时间 阅读全文
posted @ 2019-06-01 16:47 VeyronC 阅读(68742) 评论(0) 推荐(0) 编辑
摘要: pinyin 包 简单字的方法 但是这种方法复杂字的检测有问题,比如 暨 def single_get_first(unicode1): str1 = unicode1.encode('gbk') try: ord(str1) return str1 except: asc = str1[0] 25 阅读全文
posted @ 2019-06-01 16:46 VeyronC 阅读(2457) 评论(0) 推荐(0) 编辑
摘要: 其实你只要加个参数 i,可能就会让下载速度上升 10 倍,比如: 后面的地址可以换成国内的 pip 镜像: 清华 https://pypi.tuna.tsinghua.edu.cn/simple 中科大 https://pypi.mirrors.ustc.edu.cn/simple 阿里云 http 阅读全文
posted @ 2019-06-01 16:45 VeyronC 阅读(3874) 评论(0) 推荐(0) 编辑
摘要: 因为喜欢2015款的mac pro,但官方没有现货了,故只能买二手的了。 刚买检测各方面没啥问题,可回家使用后,发现一用浏览器看flash格式视频就奇卡无比,或者使用一段时间可能出现卡顿+风扇声音变大。盒盖等待10到20秒声音消失,打开使用不到一会儿又恶性循环。 来回更换3次系统,10.12、10. 阅读全文
posted @ 2019-06-01 01:23 VeyronC 阅读(1245) 评论(0) 推荐(0) 编辑