随笔分类 - 云计算
研究生毕设日志
摘要：资料来源 https://wiki.wireshark.org/Network_Lock_Manager 目的 The purpose of the NLM protocol is to provide something similar to POSIX advisory file locking
阅读全文
摘要：https://www.tensorflow.org/ https://tensorflow.google.cn/ (中文站点) 现场PPT照片： https://pan.baidu.com/s/1jyTnyiZtkxuvVlEQXQIHpA 提取码: 8m12 1、TensorFlow 2.0 k
阅读全文
摘要：Knative包含三个重要组件： 1、Build（已废弃，现改为Tekton Pipline） 2、Eventing 3、Serving 一、Tekton Piple https://github.com/tektoncd/pipeline The Tekton Pipelines project
阅读全文
摘要：Day 2 1、breaking pi‘s world record with google cloud 【concept】 memory wall： Originally theorized in 1994 by Wulf and McKee, this concept revolves arou
阅读全文
摘要：1、exchange message的生产者可以将消息发送给exchange，然后由exchange路由到不同的queue中。 exchange有4种类型： direct exchange：msg只会路由到一个queue上。当有多个queue以相同到routing key接入到direct exch
阅读全文
摘要：chapter 1 moosefs 3.1 storage class 功能的介绍 1.1 什么是storage class 在moosefs中，storage class允许指定文件的chunks存放在哪些chunkservers上。 storage class使用label进行表达。 为了与早起
阅读全文
摘要：谷歌大神详解 Kubernetes 配置管理最佳方法 https://www.kubernetes.org.cn/3031.html all in on kubernetes https://github.com/metral/nanokube
阅读全文
摘要：以下是rook为一个pod准备可用块存储的过程： 1. rook operator运行，并且在k8s每台机器上运行一个rook agent的pod； 2. 用户创建一个pvc，并指定storageclass使用rook.io/block provisionor； 3. operator provis
阅读全文
摘要：0. install golang 1.9.1 https://golang.org/doc/install 1. development.md https://github.com/kubernetes/community/blob/master/contributors/devel/develo
阅读全文
摘要：使用阿里云源安装ceph Luminous https://liuxu.co/2017/09/19/install-ceph-Luminous-on-centos7-with-ceph-deploy/ 0、如果曾经在节点上安装过ceph，那么需要先清理一下环境 ceph-deploy uninsta
阅读全文
摘要：bufferlist是buffer::list的别名，其由来在 http://bean-li.github.io/bufferlist-in-ceph/ 中有非常详细的介绍 其p、p_off、off字段的含义可以通过advance(int o)函数来理解 简单来说，p就说指向_buffer的迭代器，
阅读全文
摘要：crush_do_rule中，用了一个scratch空间来完成item的搜索。 scratch空间总共有3个max_result这么大，并且按照max_result长度划分为三个部分（下图中的a、b、c，其中c只在recursive_to_leaf时用到，本文不涉及）。 a、b两个部分就用来生成re
阅读全文
摘要：常用链接 openstack创建实例的方法 http://www.cnblogs.com/popsuper1982/p/3800426.html qemu官网 http://wiki.qemu.org/Main_Page libvirt http://libvirt.org/drvqemu.html
阅读全文
摘要：今天有缘看到董西成写的《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》，翻了翻觉得是很有趣的而且把hadoop讲得很清晰书，就花了一下午的时间大致拜读了一下（仅浏览了感兴趣的部分，没有深入细节）。现把觉得有趣的部分记录如下。JobControl把各个job配置好后，放入JobControl中，JobControl会根据它们之间的依赖关系，分别进行调度。工作流引擎 除了JobControl外，还可以使用Oozie和Azkaban来进行工作流控制。相较于前者而言，Oozie和Azkaban可以使用图形化界面观看工作流的处理进度，另外还有其他更丰富的功能。JobTracker.
阅读全文
摘要：预备软件：使用的是CentOS6.0、hadoop-1.0.4Jdk使用的是jdk-6u29-linux-i586-rpm.bin文档帮助：Hadoop-1.0.4文档http://hadoop.apache.org/docs/r1.0.4/单机安装指南http://hadoop.apache.org/docs/r1.0.4/single_node_setup.html集群安装指南http://hadoop.apache.org/docs/r1.0.4/cluster_setup.html摘要本文将介绍在CentOS中如何安装Hadoop，安装之前需要哪些预备环境。安装过程中需要配置哪些文件。
阅读全文
摘要：今天是Yasushi HARA老师在本次课程中的last class。强烈推荐了openstack让我们看看。so，google之。----------------OpenStack的官网地址可以看到官网首页上很明显的一张图，显示了openStack的大致的structure，如下： 可以看到，openStack貌似充当了一个用户application和standard Hardware之间的中间人角色。用户application比较好理解，应该就是我们通常看到的微博、web site、web game或者其他网络应用等。那么Standard Hardware为何物？为什么hardware的.
阅读全文
摘要：今天开始参加为期10天的云计算课程。现记录笔记如下：1、商业模式与所处层次越空白的区域越容易有创业的可能从content->infrastructure，越往下走入行门槛越高，越不容易被模仿超越，但利润也越低。2、content、platform、network（infrastructure）①content有website、social game、SNS等特点：（1）market turnover high （2）money easy come， easy go （3）门槛低，竞争大 （4）容易与终端用户间产生纠纷②platform有三星、google（google engine...
阅读全文
摘要：云计算：1、云计算->IT资源的拥有权和使用权的分离（资源归云计算中心所有，使用权归付费用户所有）2、云平台的角色：聚合->平台->一种生态系统（如apple的app store、淘宝网等，平台演变成一种经济生态环境）3、云计算和物联网类软件登记量带905和380件，同比增长200.66%和119.65，说明发展趋势很显著。但是（以北京地区为例）软件登记量和产品登记量分别为262、152以及7、16，软件转化为产品的转化率不足1%。为何？（转化期长，且回报周期也长，另外国人付费消费软件的意识不强）4、据中国互联网协会预计，2012年我国云计算市场规模将超600亿元，“十二五”
阅读全文
摘要：上一篇日志 中提到Master中维护了元数据（即，描述数据的数据）。那么元数据包括哪些呢？① Name Space，即文件系统的目录结构② Chunk 与 文件名的映射 （因为一个文件会被划分成多个Chunk*，因此需要一个映射来告诉系统，这个文件对应哪几个chunk）③ Chunk副本的位置信息 （一个chunk会存储三个副本*）① 和 ② 的容错是通过“操作日志”来完成的。也就说存在operation log里。当系统发生故障时，通过分析log就可以知道当时存了哪些文件，这些文件又被分成了哪些个chunks③是存储在Chunk Server上的，当发生故障时，进行磁盘恢复即可。* 三个副本
阅读全文
摘要：刘鹏《云计算（第二版）》①~⑤是控制流，⑥是数据流Client： 应用程序的访问接口Master（主服务器）：管理节点，在逻辑上只有一个，保存系统的元数据（Metadata，描述数据的数据），负责整个文件系统的管理。Chunk Server（数据库服务器）：负责具体的存储工作。数据以文件的形式存储在Chunk Server上。架构设计成这样的好处是：1、Client和Master之间只有控制流（①~⑤），没有数据流，因此降低了Master的负载 （因为控制流只需传送指令和状态，数据量小）2、Client与Chunk Server之间直接传输数据流，同时由于文件被分成多个chunk进行分布式存储
阅读全文
