11 2021 档案
摘要：在前面我们已经准备了三台服务器，并做好初始化，配置好jdk与免密登录等。并且已经安装好了hadoop集群。 如果还没有配置好的，参考我前面两篇博客： Spark集群环境搭建——服务器环境初始化：https://www.cnblogs.com/doublexi/p/15623436.html Spar
阅读全文
摘要：Spark其实是Hadoop生态圈的一部分，需要用到Hadoop的HDFS、YARN等组件。为了方便我们的使用，Spark官方已经为我们将Hadoop与scala组件集成到spark里的安装包，解压开箱即可使用，给我们提供了很大的方便。如果我们只是本地学习的spark，又不想搭建复杂的hadoop集
阅读全文
摘要：Spark也是属于Hadoop生态圈的一部分，需要用到Hadoop框架里的HDFS存储和YARN调度，可以用Spark来替换MR做分布式计算引擎。接下来，讲解一下spark集群环境的搭建部署。一、集群规划我们这里使用三台Linux服务器来搭建一个Spark集群。各个组件的分布规划如下： 二、服务器环
阅读全文
摘要：使用nextcloud在vps上搭建个人专属的私有云网盘
阅读全文
摘要：创建cephfs文件系统： 挂载cephfs文件系统（在任意客户端，我们这里直接在ceph的admin主机上挂载了） 删除cephfs，需要先将mds置为failed。 删除pg pool，需要先将使用该pool的cephfs删除。 挂载： 注意问题： 类似这种，应该就是ceph pg_num设置太
阅读全文
摘要：安装ceph-radosgw 生成ceph-radosgw服务对应的用户和key： 为用户添加访问权限： 导入keyring到集群中： 创建资源池 列出pool信息确认全部成功创建： 报错：too many PGs per OSD (492 > max 250) 修改配置admin上的ceph.co
阅读全文
摘要：volume: 就是直接挂载在pod上的组件，k8s中所有的其他存储组件都是通过volume来跟pod直接联系的。volume有个type属性，type决定了挂载的存储是什么，常见的比如：emptyDir，hostPath，nfs，rbd，以及下文要说的persistentVolumeClaim等。
阅读全文
摘要：layering: 支持分层 striping: 支持条带化 v2 exclusive-lock: 支持独占锁 object-map: 支持对象映射（依赖 exclusive-lock ） fast-diff: 快速计算差异（依赖 object-map ） deep-flatten: 支持快照扁平化
阅读全文
摘要：1、删除恢复分区 2、查看磁盘 3、扩容C盘
阅读全文
摘要：第一题、百元喝酒作业要求：每瓶啤酒2元，3个空酒瓶或者5个瓶盖可换1瓶啤酒。100元最多可喝多少瓶啤酒？（不允许借啤酒）思路：利用递归算法，一次性买完，然后递归算出瓶盖和空瓶能换的啤酒数/** * @author DOUBLEXI * @date 2021/8/17 15:33 * @descrip
阅读全文
