05 2019 档案

摘要:参考https://www.cnblogs.com/CloudMan6/p/5565757.html 前面我们学习了 instance 的若干操作,有的操作功能比较类似,也有各自的适用长江,现在做一下总结。 上图把这些操作分为两类:常规操作和故障处理 常规操作 Launch 创建 Start 启动 阅读全文
posted @ 2019-05-24 23:59 三角形 阅读(573) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5562131.html Rebuild 可以恢复损坏的instance 。那如果是宿主机坏了怎么办呢?比如硬件故障或者断电造成整台计算机节点无法工作,该节点上运行的instance如何恢复呢? 用shelve或者Migra 阅读全文
posted @ 2019-05-24 23:55 三角形 阅读(289) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5554549.html Migrate 操作会先将Instance停掉,也就是所谓的 冷迁移 。而 Live Migrate 是热迁移,也就在线迁移,Instance不会停机, Live Migrate 分两种: 1、源和 阅读全文
posted @ 2019-05-24 23:53 三角形 阅读(348) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5548294.html Resize 的作用是调整instance的vCPU、内存和磁盘资源。 Instance 需要多少资源是定义在flavor中的,Resize操作是通过为Instance选择新的flavor来调整资源 阅读全文
posted @ 2019-05-24 23:51 三角形 阅读(244) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5538599.html Migrate 操作的作用是将instance 从当前的计算节点迁移到其他的计算节点上。 Migrate 不要求源节点和目标节点共享存储,当然共享存储也是可以的。 Migrate 前必须满足一个条件 阅读全文
posted @ 2019-05-24 23:50 三角形 阅读(298) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5529915.html 上一节我们 shelve Instance 到 Glance,本节学习如何通过 unshelve 操作恢复 Instance 因为Glance 中保存了 instance 的image,unshel 阅读全文
posted @ 2019-05-24 23:49 三角形 阅读(287) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5524751.html Instance 被 Suspend 后虽然处于 shutdown 状态,但 Hypervisor 依然在宿主机上为期预留了资源,以便在以后能够成功Resume。如果希望释放这些预留资源,可以使用  阅读全文
posted @ 2019-05-24 23:48 三角形 阅读(244) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5516852.html 上一节我们学习了 snapshot ,snapshot 一个重要的作用就是对 Instance 做备份, 如果Instance 损坏了,可以通过 snapshot 恢复,这个恢复过程就是 Rebui 阅读全文
posted @ 2019-05-24 23:46 三角形 阅读(230) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5510296.html 有时候系统损坏的很严重,通过 Rescue 操作无法修复,那么我们就得重新考虑通过备份恢复了。当然前提是我们之前对Instance 做过备份。Nova备份的操作叫 Snapshot,其工作原理是对I 阅读全文
posted @ 2019-05-24 23:45 三角形 阅读(199) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5503501.html Suspend / Resume 有时候需要长时间暂停 instance , 可以通过 Suspend 操作将instance 的状态保存到宿主机的磁盘上。需要恢复的时候,执行 Resume操作从磁 阅读全文
posted @ 2019-05-24 23:43 三角形 阅读(679) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5496825.html 本节通过日志详细分析 Nova Pause / Resume 操作。 有时需要短时间暂停 instance ,可以通过 Pause 操作将 instance 的状态保存到宿主机的内存中。当需要恢复的 阅读全文
posted @ 2019-05-24 23:40 三角形 阅读(577) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5486066.html 本节通过日志详细分析 Nova Terminate 操作。Terminate 操作就是删除 instance ,下面是 Terminate instance 的流程图。 ① 用户向 nova-api 阅读全文
posted @ 2019-05-24 23:39 三角形 阅读(619) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5479408.html 前面通过日志详细分析了 nova 的 launch、shutoff 、start 操作。 本节来体验两个比较简单的操作:reboot 和 lock/unlock 。 Soft/Hard Reboot 阅读全文
posted @ 2019-05-24 09:58 三角形 阅读(1280) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5470723.html 本节将通过日志文件分析 instance start 的操作过程,下面是 start instance 的流程图 ①用户向 nova-api 发送开机请求 1、先 tailf n-api.log 2 阅读全文
posted @ 2019-05-24 09:53 三角形 阅读(771) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5460464.html 本节详细分析 instance launch 和 shut off 操作 ,以及如何在日志中快速定位有用信息的技巧。 Launch Instance 这是 Nova 最重要的操作。仔细研究 Lanu 阅读全文
posted @ 2019-05-24 09:30 三角形 阅读(567) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5456484.html instance 从创建到删除的整个生命周期都是有 Nova 管理的,后面各小节我们以instance生命周期中不同操作场景为例,详细分析 Nova不同组件如何协调工作,并通过日志分析加深大家对 N 阅读全文
posted @ 2019-05-24 09:27 三角形 阅读(1597) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5451276.html 本节讨论 nova-compute ,并详细分析 instance 部署的全过程。 nova-compute 在计算节点上运行,负责管理节点上的instance 。OpenStack 对instan 阅读全文
posted @ 2019-05-24 09:25 三角形 阅读(1803) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5441782.html 本节重点介绍 nova-scheduler 的调度机制和实现方法:即解决如何选择在那个计算节点上启动 instance 的问题。 创建Instance 时,用户会提出资源需求,例如 CPU、内存、磁 阅读全文
posted @ 2019-05-24 09:15 三角形 阅读(878) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5436855.html 本节开始,我们将详细讲解 Nova 的各个子服务。 前面架构概览一节知道 Nova 有若干 nova-* 的子服务,下面我们将依次学习最重要的几个,今天先讨论 nova-api 和 nova-con 阅读全文
posted @ 2019-05-24 09:07 三角形 阅读(670) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5427981.html API 前端服务 每个OpenStack组件可能包含若干子服务,其中必定有一个API服务负责接收客户请求。 以Nova为例,nova-api 作为Nova 组件对外的唯一窗口,向客户暴露Nova 能 阅读全文
posted @ 2019-05-24 09:06 三角形 阅读(320) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5415836.html Nova 物理部署方案 前面大家已经看到 Nova 由很多子服务组成,我们也知道OpenStack 是一个分布式系统,可以部署到若干节点上,那么接下来大家可能就会问:Nova的这些服务在物理上应该如 阅读全文
posted @ 2019-05-24 09:04 三角形 阅读(390) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5410447.html Compute Service Nova 是OpenStack最核心的服务,负责维护和管理云环境的计算资源。OpenStack作为IaaS 的云操作系统,虚拟机声明周期管理也就是通过Nova来实现的 阅读全文
posted @ 2019-05-24 09:03 三角形 阅读(622) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5402490.html 本节首先讨论如何删除image,然后介绍OpenStack CLI 的使用方法,最后讨论如何 Troubleshooting Web UI 删除镜像,直接在镜像列表中删除选择的的镜像即可 CLI删除 阅读全文
posted @ 2019-05-22 22:38 三角形 阅读(404) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5393376.html 本节演示如何通过 Web GUI 和 CLI 两种方法创建image。 OpenStack 为终端用户提供了 Web UI (Horizon) 和 命令行 CLI。 1、WebUI 的功能没有CLI 阅读全文
posted @ 2019-05-22 22:36 三角形 阅读(344) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5384923.html OpenStack 由 Glance 提供 Image 服务。 理解 Glance 要理解 Image Service , 先得搞清楚什么是 Image 以及为什么要用 Image? 在传统IT 环 阅读全文
posted @ 2019-05-22 22:35 三角形 阅读(381) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5373311.html 上节介绍了 Keystone 的核心概念。本节我们通过“查询可用 image”这个操作让大家对这些概念简历更加感性的认识。User admin 要查看 Project 中的image。 第一步 登录 阅读全文
posted @ 2019-05-22 22:34 三角形 阅读(208) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5365474.html 作为OpenStack的基础支持服务,Keystone做了下面几件事情: 1、管理用户及其权限 2、维护 OpenStack Services 的 Endpoint 3、Authentication 阅读全文
posted @ 2019-05-22 22:33 三角形 阅读(396) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5357273.html 本节按照以下步骤部署 DevStack 实验环境,包括控制节点和计算节点。详细的部署和配置可以查看老师的视频 一、创建虚拟机 按照物理资源需求创建 devstack-controller 和 dev 阅读全文
posted @ 2019-05-22 11:01 三角形 阅读(584) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5350536.html 在学习 OpenStack 各服务之前,需要先搭建一个实验环境。 一个看得到摸得着而且能让我们随便折腾的 OpenStack 会大大提高学习效率。因为是我们自己学习用的实验环境,所以这里推荐使用 D 阅读全文
posted @ 2019-05-22 10:58 三角形 阅读(367) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5340622.html 终于正式进入OpenStack 部分了。 今天开始正式学习OpenStack,OpenStack 从2010年到今天,已经第10个年头了 。每半年发布一个版本,版本以字母顺序命名,现在已经到第20个 阅读全文
posted @ 2019-05-22 10:57 三角形 阅读(803) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5334760.html 云计算 基本概念 所有的新事物都不是突然冒出来的,都有前世和今生。云计算也是IT技术不断发展的产物。要理解云计算,需要对IT系统架构的发展过程有所认识,请看下图 IT 系统架构发展到目前为止大概分为 阅读全文
posted @ 2019-05-22 10:56 三角形 阅读(229) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5326737.html 本节我们来看如何在实验环境中实施和部署如下的VLAN 网络 配置VLAN 10 和 VLAN 20 root@ubuntu:~# cat /etc/network/interfaces | grep 阅读全文
posted @ 2019-05-22 10:53 三角形 阅读(368) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5313994.html LAN 表示 Local Area Network ,本地局域网,通常使用 Hub 或者 Switch 来连接LAN 中的计算机。一般来说,两台计算机连入同一个 Hub 或者 Switch 时,他们 阅读全文
posted @ 2019-05-22 10:51 三角形 阅读(325) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5308071.html virbr0 是KVM 默认创建的一个Bridge ,其作用是为该宿主机上的虚机提供NAT上网的功能。virbr0默认分配了一个IP地址 192.168.122.1 并为连接在上面的虚拟网卡提供DH 阅读全文
posted @ 2019-05-20 23:17 三角形 阅读(1257) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5296573.html 本节将演示如何在实验环境中实现下图所示的虚拟网络 配置Linux Bridge br0 编辑 /etc/network/interfaces ,配置br0 root@ubuntu:~# cat /e 阅读全文
posted @ 2019-05-20 23:16 三角形 阅读(324) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5289590.html 网络虚拟化是虚拟化技术中最复杂的部分,学习难度最大。 但因为网络是虚拟化中非常重要的资源,所以再硬的骨头也必须要把他啃下来。为了让大家对虚拟化网络的复杂程度有一个只管的认识,请看下图: 这是 Ope 阅读全文
posted @ 2019-05-20 23:15 三角形 阅读(518) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5277927.html LVM类型的Storage Pool 不仅一个文件可以分配给客户机作为虚拟磁盘,宿主机上 VG 中的 LV 也可以作为虚拟磁盘分配给虚拟机使用。不过,LV由于没有磁盘的MBR,所以不能作为虚拟机的启 阅读全文
posted @ 2019-05-20 23:14 三角形 阅读(305) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5273283.html KVM 的存储虚拟化是通过存储池(Storage Pool) 和 卷(Volume)来管理的。 Storage Pool 是宿主机上可以看到的一片存储空间,可以是多种类型,后面会详细讨论。Volum 阅读全文
posted @ 2019-05-20 23:13 三角形 阅读(434) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5263981.html 前面我们成功的把KVM跑起来了,有了些感性认识,这个对于初学者非常重要。不过还不够,我们多少要了解一些KVM的实现机制,这对后面工作会很有帮助。 CPU 虚拟化 KVM 的虚拟化 是需要CPU硬件支 阅读全文
posted @ 2019-05-20 23:12 三角形 阅读(574) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5256018.html 上一节我们通过 virt-manager 在本地主机上创建并管理 KVM 虚机,其实 virt-manager 也可以管理其他宿主机上的虚机。只需要简单的将其他宿主机添加进来。 1、在需要被远程管理 阅读全文
posted @ 2019-05-20 23:10 三角形 阅读(282) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5249270.html 本节演示如何使用 virt-manager 启动 KVM 虚机, 提前下载一个 cirros 的img文件到/var/lib/libvirt/images/目录下 ,方便我们下面演示 wget -O 阅读全文
posted @ 2019-05-20 23:09 三角形 阅读(328) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5240770.html KVM 是 OpenStack 使用的最广泛的Hypervisor,本节介绍如何搭建 KVM 实验环境。 安装KVM 前面说了,KVM是2型虚拟化,是运行在操作系统之上的,所以我们需要先安装一个Li 阅读全文
posted @ 2019-05-20 23:08 三角形 阅读(316) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5233484.html OpenStack 是云操作系统,要学习 OpenStack,首先需要掌握一些虚拟化和云计算的相关知识。 虚拟化 虚拟化是云计算的基础,简单的说,虚拟化使得在一台物理的服务器上可以跑多台虚拟机,虚拟 阅读全文
posted @ 2019-05-20 13:22 三角形 阅读(385) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/5224114.html 《每天5分钟玩转 OpenStack》 1、系统讲解 OpenStack ,从架构到各个组件;从整体到细节逐一讨论 2、重实践并兼顾理论,主要从实际操作的角度带着大家学习 OpenStack Ope 阅读全文
posted @ 2019-05-20 10:04 三角形 阅读(309) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/8157391.html stack 将应用所包含的service,依赖的secret volume 等资源,以及他们之间的关系定义在一个YAML文件中。相比手工执行命令或是脚本,stack有明显的优势。 1、YAML 描述 阅读全文
posted @ 2019-05-17 13:42 三角形 阅读(227) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/8135714.html 定义好了 stack YAML 文件,就可以通过 docker stack deploy 命令部署应用,命令最后面的wpstack 是自动创建各项资源的前缀,方便区分不同的环境 root@host0 阅读全文
posted @ 2019-05-17 13:41 三角形 阅读(171) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/8119150.html 什么是 stack ? 在将这个之前先回顾一下前面部署WordPress的过程: 1、创建secret 2、创建mysql service 3、创建WordPress service 也就是说,这个 阅读全文
posted @ 2019-05-17 13:39 三角形 阅读(206) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/8098761.html 在下面的例子中,我们会部署一个 WordPress 应用,WordPress 是流行的开源博客系统。 我们将创建一个 Mysql Service ,将密码保存到secret 中。我们还会创建一个 W 阅读全文
posted @ 2019-05-17 13:37 三角形 阅读(405) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/8082429.html 我们可以用secret管理任何敏感数据。这些敏感数据是容器在运行时需要的。同时我们又不想把这些数据保存到镜像中。 secret可以用于管理: 1、用户名和密码 2、TLS证书 3、SSH密钥 4、其 阅读全文
posted @ 2019-05-17 13:36 三角形 阅读(198) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/8068057.html 我们经常要想容器传递敏感信息,最常见的就是密码。比如: docker run -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql docker run -e M 阅读全文
posted @ 2019-05-17 13:35 三角形 阅读(440) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/8053323.html 容器状态是UP的,那应用就是健康的吗? 不一定 Docker 只能从容器启动进程的返回代码判断其状态,而对于容器内部应用的运行情况基本没有了解。 执行 docker run 命令时,通常会根据Doc 阅读全文
posted @ 2019-05-17 13:34 三角形 阅读(834) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/8038799.html 上一节我们讨论了 Service部署的两种模式,global mode 和 replicated mode 。无论global mode 还是replicated mode ,副本运行在哪些节点都是 阅读全文
posted @ 2019-05-15 23:01 三角形 阅读(301) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/8028712.html Swarm 可以在 Service 创建和运行过程中灵活的通过 --replicas 调整容器副本数量,内部调度器则会根据当前集群的资源使用情况在不同的node 上启停容器,这就是 Service  阅读全文
posted @ 2019-05-15 22:59 三角形 阅读(355) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/8016994.html 上一节我们成功将 nfs 的volume挂载到 Service上,本节验证 Failover时,数据会不会丢失。 Scale Up 增加副本,并验证数据是否能够同步到新启动的容器上 root@hos 阅读全文
posted @ 2019-05-15 22:58 三角形 阅读(201) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/8000906.html Service 的容器副本会 scale up/down ,会 failover,会在不同的主机上创建和销毁,这就引出一个问题,如果Service有要管理的数据,那么这些数据应该如何存放呢? 选项一 阅读全文
posted @ 2019-05-15 22:55 三角形 阅读(291) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/7988455.html 在前面的实验中,我们部署了多个副本的服务,本节将讨论如何滚动更新每一个副本。 滚动更新降低了应用更新的风险,如果某个副本更新失败,整个更新将暂停,其他副本则可以继续提供服务。 同时在更新的过程中,总 阅读全文
posted @ 2019-05-15 22:54 三角形 阅读(318) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/7967419.html 微服务架构的应用由若干 service 构成。比如有运行 httpd 的 web 前端,有提供缓存的 memcached ,有存放数据的 mysql ,每一层都是 swarm 的一个service, 阅读全文
posted @ 2019-05-15 22:52 三角形 阅读(787) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/7930321.html 上一节我们提到了 swarm 的 routing mesh 。当外部访问任意节点的8080端口时,swarm 内部的 load balance 会将请求转发给web_server 其中的一个副本。大 阅读全文
posted @ 2019-05-15 22:51 三角形 阅读(393) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/7909136.html 前面已经学习了如何部署Service吗,也验证了swarm的failover特性,下面我们要学习的是如何访问Service。 下面我们删除之前的Service,重新部署一个Service 内部访问S 阅读全文
posted @ 2019-05-15 22:49 三角形 阅读(341) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/7898245.html 故障是在所难免的,容器可能崩溃,Docker Host 可能宕机,不过幸运的是,Swarm 已经内置了 failover策略。 创建Service 的时候,我们没有告诉 swarm 发生故障时该如何 阅读全文
posted @ 2019-05-15 22:48 三角形 阅读(182) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/7885667.html 上一节部署了只有一个副本的Service,不过对于web服务,我们通常会运行多个实例,这样可以做负载均衡,同时也能提高可用性。 swarm 要实现这个目标非常简单,增加Service 的副本数就可以 阅读全文
posted @ 2019-05-15 22:47 三角形 阅读(241) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/7874609.html 上一节我们部署好了 Swarm 集群,下面部署一个运行httpd镜像的service进行演示 root@host03:~# docker service create --name web_serv 阅读全文
posted @ 2019-05-15 22:46 三角形 阅读(241) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/7862254.html 本节我们将创建三节点的swarm集群(操作系统Ubuntu 16.04 ,Docker 版本均不低于 v1.12)。 host01 10.12.31.211 swarm-worker1 host02 阅读全文
posted @ 2019-05-15 22:45 三角形 阅读(219) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/7845365.html 从主机层面来看,Docker Swarm 管理的是 Docker Host 集群。所以先来讨论一个重要的概念 - 集群化(Clustring) 服务器集群有一组网络上互相连接的服务器组成,他们一起协 阅读全文
posted @ 2019-05-15 22:43 三角形 阅读(389) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/7821817.html 上节我们已经部署好了 Graylog ,现在学习如何使用他来管理日志。 首先运行测试容器,设置logging driver为gelf,并设置接收日志的地址,还有添加tag以区分不同容器的日志 doc 阅读全文
posted @ 2019-05-15 22:39 三角形 阅读(594) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/7808708.html Graylog 是与 ELK 可以相提并论的一款几种式日志管理方案,支持数据收集、检索、可视化Dashboard。本机将实践用Graylog来管理Docker日志。 Graylog架构 Graylo 阅读全文
posted @ 2019-05-15 22:37 三角形 阅读(638) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/7798224.html 前面的ELK 中我们使用的是 Filebeat 收集Docker日志,利用的是默认的logging driver json-file。本节我们将使用 fluentd 来收集容器的日志。 Fluent 阅读全文
posted @ 2019-05-15 22:36 三角形 阅读(384) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/7787870.html 上节我们已经部署了容器化的ELK,本节我们学习如何将日志导入ELK并进行图形化展示。 几乎所有的软件和应用都有自己的日志文件,容器也不例外。前面我们已经知道Docker会将容器日志记录到 /va/l 阅读全文
posted @ 2019-05-15 22:35 三角形 阅读(595) 评论(0) 推荐(0) 编辑
摘要:1 #!/bin/bash 2 3 # 检查操作系统版本,该脚本只能运行在 Centos 7.x 系统上 4 5 cat /etc/redhat-release |grep -i centos |grep '7.[[:digit:]]' >/dev/null 6 7 if [[ $? != 0 ]] 8 then 9 echo -e "不支持的操作系统,该... 阅读全文
posted @ 2019-05-13 16:20 三角形 阅读(670) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/7770916.html 在开源的日志管理方案中,最出名的莫过于ELK了。ELK是三个软件的合称: Elasticsearch、Logstash、Kibana。 Elasticsearch 一个近乎实时查询的全文搜索引擎。E 阅读全文
posted @ 2019-05-13 10:55 三角形 阅读(267) 评论(0) 推荐(0) 编辑
摘要:Scrapy 知识总结 1、安装 1 pip install wheel 2 pip install https://download.lfd.uci.edu/pythonlibs/q5gtlas7/Twisted-19.2.0-cp37-cp37m-win_amd64.whl 3 pip inst 阅读全文
posted @ 2019-05-12 00:27 三角形 阅读(384) 评论(0) 推荐(0) 编辑
摘要:练习介绍 要求: 本练习需要运用scrapy的知识,爬取豆瓣图书TOP250(https://book.douban.com/top250 )前2页的书籍(50本)的短评数据存储成Excel 书名 评论ID 短评内容 1、创建爬虫项目 1 D:\USERDATA\python>scrapy star 阅读全文
posted @ 2019-05-12 00:02 三角形 阅读(748) 评论(0) 推荐(0) 编辑
摘要:职友集,搜索到全国上百家招聘网站的最新职位。 https://www.jobui.com/rank/company/ 打开网址后,你会发现:这是职友集网站的地区企业排行榜,里面含有 本月人气企业榜 前10家公司的招聘信息(公司名称、职位、工作地点和招聘要求) 最佳口碑雇主 前10家公司的招聘信息(公 阅读全文
posted @ 2019-05-11 23:58 三角形 阅读(1049) 评论(0) 推荐(0) 编辑
摘要:练习介绍 要求: 请使用Scrapy,爬取当当网2018年图书销售榜单前3页的数据(图书名、作者和书的价格)。 当当网2018年图书销售榜单链接: http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-1 阅读全文
posted @ 2019-05-11 23:54 三角形 阅读(1114) 评论(0) 推荐(0) 编辑
摘要:去薄荷网 爬取每种食物的热量值 URL http://www.boohee.com/food/ 1 from gevent import monkey 2 monkey.patch_all() 3 import gevent,requests,bs4,csv 4 from gevent.queue 阅读全文
posted @ 2019-05-11 23:51 三角形 阅读(344) 评论(0) 推荐(0) 编辑
摘要:练习介绍 要求: 请使用多协程和队列,爬取时光网电视剧TOP100的数据(剧名、导演、主演和简介),并用csv模块将数据存储下来。 时光网TOP100链接:http://www.mtime.com/top/tv/top100/ 目的: 1.练习掌握gevent的用法 2.练习掌握queue的用法 1 阅读全文
posted @ 2019-05-11 23:49 三角形 阅读(704) 评论(0) 推荐(0) 编辑
摘要:练习介绍 在第3关的一个课后练习里,我们爬取了指定电影的下载链接;在第6关的一个课后练习里,我们存储了豆瓣TOP250的榜单信息。 现在,我们完善这个程序,每周五在存储的榜单中,随机抽三部电影,然后去爬取这三部电影的下载链接,并把链接的结果发送到邮箱。 这样一来,我们就可以选择一部电影在周末欣赏啦。 阅读全文
posted @ 2019-05-11 23:48 三角形 阅读(1051) 评论(0) 推荐(0) 编辑
摘要:在之前吴氏私厨的基础上,每周五自动爬取下厨房本周最受欢迎的菜谱 1 import requests 2 import time 3 import schedule 4 import smtplib 5 from email.mime.text import MIMEText 6 from email 阅读全文
posted @ 2019-05-11 23:45 三角形 阅读(611) 评论(0) 推荐(0) 编辑
摘要:自动爬取每日的天气,并定时把天气数据和穿衣提示发送到你的邮箱。 之所以选择这个相对朴实的爬虫项目,是因为天气每天都会有变化,那么在学完这一关之后,不出意外,你就可以在明早收到天气信息了。以此,亲身体验程序的作用。 你还可以把每日的天气和温馨的穿衣提示发送到你的恋人、家人、或朋友的邮箱里,这也是传递心 阅读全文
posted @ 2019-05-11 23:43 三角形 阅读(750) 评论(0) 推荐(0) 编辑
摘要:要求: 爬取网页你好,蜘蛛侠!中的Python之禅中英文版本,并且打印。 目的: 练习使用selenium爬取动态网页的信息。 练习selenium与BeautifulSoup的搭配使用。 URL https://localprod.pandateacher.com/python-manuscrip 阅读全文
posted @ 2019-05-11 23:42 三角形 阅读(419) 评论(0) 推荐(0) 编辑
摘要:首先,登录博客人人都是蜘蛛侠。 然后,在文章《未来已来(三)——同九义何汝秀》中,发表一个评论,这个评论中必须要带有“selenium”这个词。 URL https://wordpress-edu-3autumn.localprod.forc.work/wp-login.php spiderman 阅读全文
posted @ 2019-05-11 23:40 三角形 阅读(551) 评论(0) 推荐(0) 编辑
摘要:我们这次试试用selenium爬取QQ音乐的歌曲评论,我选的歌是《甜甜的》。 https://y.qq.com/n/yqq/song/000xdZuV2LcQ19.html 1 from selenium import webdriver 2 import time 3 4 driver = web 阅读全文
posted @ 2019-05-11 23:38 三角形 阅读(688) 评论(0) 推荐(0) 编辑
摘要:练习介绍 【程序功能】 我们将完成一个和语义识别相关的爬虫程序,输入任意词汇、句子、文章或段落,会返回联想的词汇。 【背景信息】 有一个非常牛的处理语言的网站nlpir,上面有非常多的处理语言的功能(如分词标注、情感分析、相关词汇)。 举个例子,我输入“音乐剧”: 然后点击“Word2vec”(返回 阅读全文
posted @ 2019-05-11 23:31 三角形 阅读(712) 评论(0) 推荐(0) 编辑
摘要:练习介绍 学了爬虫这么久,想不想接触下AI,创建一个可以聊天的机器人呀٩̋(๑˃́ꇴ˂̀๑) 要求: 实现功能:利用图灵机器人官网http://www.tuling123.com/的接口,创建一个可以聊天的机器人 1 import requests 2 import json 3 # https:/ 阅读全文
posted @ 2019-05-11 23:28 三角形 阅读(460) 评论(0) 推荐(0) 编辑
摘要:练习介绍 想不想自己动手做个翻译器呢,一点都不难哦~ 就用你学过的post和json,一起试试爬取有道翻译自制翻译器吧ლ(^ω^ლ) 要求 实现功能:用户输入英文或中文,程序即可打印出来对应的译文。 ps:这个练习不看帮助是完不成了, 1、url去掉_o 2、post数据添加'typoResult' 阅读全文
posted @ 2019-05-11 23:24 三角形 阅读(813) 评论(0) 推荐(0) 编辑
摘要:练习介绍 要求: 在本练习,我们会借助cookies的相关知识,使用Python登录饿了么网站,爬取自己家附近的餐厅列表。 网站地址:https://www.ele.me/home/ 目的: 练习掌握cookies和session的用法 练习post和get请求 练习json数据的解析提取 反爬虫应 阅读全文
posted @ 2019-05-11 23:21 三角形 阅读(693) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/7762369.html 将容器日志发送到 STDOUT 和 STDERR 是Docker 的默认日志行为。实际上,Docker提供了多种日志机制帮助用户从运行的容器中提取日志信息。这些机制被称作logging driver 阅读全文
posted @ 2019-05-10 10:13 三角形 阅读(312) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/7749304.html 高效的监控和日志管理对保持生产系统只需稳定的运行以及排查问题至关重要。 在微服务架构中,由于容器的数量众多以及快速变化的特性,使得记录日志和监控变的重要起来。考虑到容器短暂和不固定的生命周期,我们需 阅读全文
posted @ 2019-05-09 09:16 三角形 阅读(356) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/7736176.html 前面已经学习了 ps/top/stats、Sysdig、Weave Scope 、cAdvisor、Prometheus多种容器监控工具和方案,是时候做一个比较了。 部署难易度 ps/top/sta 阅读全文
posted @ 2019-05-08 09:36 三角形 阅读(277) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/7724576.html 部署环境: 两台 Docker Host 10.12.31.211 10.12.31.212 监控内容: 使用Prometheus 监控两台host以及上面的容器 安装组件: Prometheus  阅读全文
posted @ 2019-05-07 15:56 三角形 阅读(197) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/7709970.html 本节学习Prometheus的核心,多维数据模型 比如要监控容器 webapp1 的内存使用情况,最传统和经典的方法是定义一个指标 container_memory_usage_bytes_weba 阅读全文
posted @ 2019-05-06 15:54 三角形 阅读(206) 评论(0) 推荐(0) 编辑
摘要:参考https://www.cnblogs.com/CloudMan6/p/7692765.html Prometheus 是一个非常优秀的监控工具,准确的说,应该是监控方案。Prometheus 提供了监控数据搜集、存储、处理、可视化和告警一整套的解决方案。 Prometheus 重要组件的架构如 阅读全文
posted @ 2019-05-05 23:15 三角形 阅读(196) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示