摘要: 参考https://www.cnblogs.com/CloudMan6/p/7988455.html 在前面的实验中,我们部署了多个副本的服务,本节将讨论如何滚动更新每一个副本。 滚动更新降低了应用更新的风险,如果某个副本更新失败,整个更新将暂停,其他副本则可以继续提供服务。 同时在更新的过程中,总 阅读全文
posted @ 2019-05-15 22:54 三角形 阅读(314) 评论(0) 推荐(0) 编辑
摘要: 参考https://www.cnblogs.com/CloudMan6/p/7967419.html 微服务架构的应用由若干 service 构成。比如有运行 httpd 的 web 前端,有提供缓存的 memcached ,有存放数据的 mysql ,每一层都是 swarm 的一个service, 阅读全文
posted @ 2019-05-15 22:52 三角形 阅读(781) 评论(0) 推荐(0) 编辑
摘要: 参考https://www.cnblogs.com/CloudMan6/p/7930321.html 上一节我们提到了 swarm 的 routing mesh 。当外部访问任意节点的8080端口时,swarm 内部的 load balance 会将请求转发给web_server 其中的一个副本。大 阅读全文
posted @ 2019-05-15 22:51 三角形 阅读(386) 评论(0) 推荐(0) 编辑
摘要: 参考https://www.cnblogs.com/CloudMan6/p/7909136.html 前面已经学习了如何部署Service吗,也验证了swarm的failover特性,下面我们要学习的是如何访问Service。 下面我们删除之前的Service,重新部署一个Service 内部访问S 阅读全文
posted @ 2019-05-15 22:49 三角形 阅读(336) 评论(0) 推荐(0) 编辑
摘要: 参考https://www.cnblogs.com/CloudMan6/p/7898245.html 故障是在所难免的,容器可能崩溃,Docker Host 可能宕机,不过幸运的是,Swarm 已经内置了 failover策略。 创建Service 的时候,我们没有告诉 swarm 发生故障时该如何 阅读全文
posted @ 2019-05-15 22:48 三角形 阅读(176) 评论(0) 推荐(0) 编辑
摘要: 参考https://www.cnblogs.com/CloudMan6/p/7885667.html 上一节部署了只有一个副本的Service,不过对于web服务,我们通常会运行多个实例,这样可以做负载均衡,同时也能提高可用性。 swarm 要实现这个目标非常简单,增加Service 的副本数就可以 阅读全文
posted @ 2019-05-15 22:47 三角形 阅读(234) 评论(0) 推荐(0) 编辑
摘要: 参考https://www.cnblogs.com/CloudMan6/p/7874609.html 上一节我们部署好了 Swarm 集群,下面部署一个运行httpd镜像的service进行演示 root@host03:~# docker service create --name web_serv 阅读全文
posted @ 2019-05-15 22:46 三角形 阅读(232) 评论(0) 推荐(0) 编辑
摘要: 参考https://www.cnblogs.com/CloudMan6/p/7862254.html 本节我们将创建三节点的swarm集群(操作系统Ubuntu 16.04 ,Docker 版本均不低于 v1.12)。 host01 10.12.31.211 swarm-worker1 host02 阅读全文
posted @ 2019-05-15 22:45 三角形 阅读(210) 评论(0) 推荐(0) 编辑
摘要: 参考https://www.cnblogs.com/CloudMan6/p/7845365.html 从主机层面来看,Docker Swarm 管理的是 Docker Host 集群。所以先来讨论一个重要的概念 - 集群化(Clustring) 服务器集群有一组网络上互相连接的服务器组成,他们一起协 阅读全文
posted @ 2019-05-15 22:43 三角形 阅读(377) 评论(0) 推荐(0) 编辑
摘要: 参考https://www.cnblogs.com/CloudMan6/p/7821817.html 上节我们已经部署好了 Graylog ,现在学习如何使用他来管理日志。 首先运行测试容器,设置logging driver为gelf,并设置接收日志的地址,还有添加tag以区分不同容器的日志 doc 阅读全文
posted @ 2019-05-15 22:39 三角形 阅读(578) 评论(0) 推荐(0) 编辑
摘要: 参考https://www.cnblogs.com/CloudMan6/p/7808708.html Graylog 是与 ELK 可以相提并论的一款几种式日志管理方案,支持数据收集、检索、可视化Dashboard。本机将实践用Graylog来管理Docker日志。 Graylog架构 Graylo 阅读全文
posted @ 2019-05-15 22:37 三角形 阅读(632) 评论(0) 推荐(0) 编辑
摘要: 参考https://www.cnblogs.com/CloudMan6/p/7798224.html 前面的ELK 中我们使用的是 Filebeat 收集Docker日志,利用的是默认的logging driver json-file。本节我们将使用 fluentd 来收集容器的日志。 Fluent 阅读全文
posted @ 2019-05-15 22:36 三角形 阅读(379) 评论(0) 推荐(0) 编辑
摘要: 参考https://www.cnblogs.com/CloudMan6/p/7787870.html 上节我们已经部署了容器化的ELK,本节我们学习如何将日志导入ELK并进行图形化展示。 几乎所有的软件和应用都有自己的日志文件,容器也不例外。前面我们已经知道Docker会将容器日志记录到 /va/l 阅读全文
posted @ 2019-05-15 22:35 三角形 阅读(592) 评论(0) 推荐(0) 编辑
摘要: 1 #!/bin/bash 2 3 # 检查操作系统版本,该脚本只能运行在 Centos 7.x 系统上 4 5 cat /etc/redhat-release |grep -i centos |grep '7.[[:digit:]]' >/dev/null 6 7 if [[ $? != 0 ]] 8 then 9 echo -e "不支持的操作系统,该... 阅读全文
posted @ 2019-05-13 16:20 三角形 阅读(664) 评论(0) 推荐(0) 编辑
摘要: 参考https://www.cnblogs.com/CloudMan6/p/7770916.html 在开源的日志管理方案中,最出名的莫过于ELK了。ELK是三个软件的合称: Elasticsearch、Logstash、Kibana。 Elasticsearch 一个近乎实时查询的全文搜索引擎。E 阅读全文
posted @ 2019-05-13 10:55 三角形 阅读(266) 评论(0) 推荐(0) 编辑
摘要: Scrapy 知识总结 1、安装 1 pip install wheel 2 pip install https://download.lfd.uci.edu/pythonlibs/q5gtlas7/Twisted-19.2.0-cp37-cp37m-win_amd64.whl 3 pip inst 阅读全文
posted @ 2019-05-12 00:27 三角形 阅读(356) 评论(0) 推荐(0) 编辑
摘要: 练习介绍 要求: 本练习需要运用scrapy的知识,爬取豆瓣图书TOP250(https://book.douban.com/top250 )前2页的书籍(50本)的短评数据存储成Excel 书名 评论ID 短评内容 1、创建爬虫项目 1 D:\USERDATA\python>scrapy star 阅读全文
posted @ 2019-05-12 00:02 三角形 阅读(726) 评论(0) 推荐(0) 编辑
摘要: 职友集,搜索到全国上百家招聘网站的最新职位。 https://www.jobui.com/rank/company/ 打开网址后,你会发现:这是职友集网站的地区企业排行榜,里面含有 本月人气企业榜 前10家公司的招聘信息(公司名称、职位、工作地点和招聘要求) 最佳口碑雇主 前10家公司的招聘信息(公 阅读全文
posted @ 2019-05-11 23:58 三角形 阅读(998) 评论(0) 推荐(0) 编辑
摘要: 练习介绍 要求: 请使用Scrapy,爬取当当网2018年图书销售榜单前3页的数据(图书名、作者和书的价格)。 当当网2018年图书销售榜单链接: http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-1 阅读全文
posted @ 2019-05-11 23:54 三角形 阅读(1068) 评论(0) 推荐(0) 编辑
摘要: 去薄荷网 爬取每种食物的热量值 URL http://www.boohee.com/food/ 1 from gevent import monkey 2 monkey.patch_all() 3 import gevent,requests,bs4,csv 4 from gevent.queue 阅读全文
posted @ 2019-05-11 23:51 三角形 阅读(317) 评论(0) 推荐(0) 编辑
摘要: 练习介绍 要求: 请使用多协程和队列,爬取时光网电视剧TOP100的数据(剧名、导演、主演和简介),并用csv模块将数据存储下来。 时光网TOP100链接:http://www.mtime.com/top/tv/top100/ 目的: 1.练习掌握gevent的用法 2.练习掌握queue的用法 1 阅读全文
posted @ 2019-05-11 23:49 三角形 阅读(695) 评论(0) 推荐(0) 编辑
摘要: 练习介绍 在第3关的一个课后练习里,我们爬取了指定电影的下载链接;在第6关的一个课后练习里,我们存储了豆瓣TOP250的榜单信息。 现在,我们完善这个程序,每周五在存储的榜单中,随机抽三部电影,然后去爬取这三部电影的下载链接,并把链接的结果发送到邮箱。 这样一来,我们就可以选择一部电影在周末欣赏啦。 阅读全文
posted @ 2019-05-11 23:48 三角形 阅读(1010) 评论(0) 推荐(0) 编辑
摘要: 在之前吴氏私厨的基础上,每周五自动爬取下厨房本周最受欢迎的菜谱 1 import requests 2 import time 3 import schedule 4 import smtplib 5 from email.mime.text import MIMEText 6 from email 阅读全文
posted @ 2019-05-11 23:45 三角形 阅读(600) 评论(0) 推荐(0) 编辑
摘要: 自动爬取每日的天气,并定时把天气数据和穿衣提示发送到你的邮箱。 之所以选择这个相对朴实的爬虫项目,是因为天气每天都会有变化,那么在学完这一关之后,不出意外,你就可以在明早收到天气信息了。以此,亲身体验程序的作用。 你还可以把每日的天气和温馨的穿衣提示发送到你的恋人、家人、或朋友的邮箱里,这也是传递心 阅读全文
posted @ 2019-05-11 23:43 三角形 阅读(723) 评论(0) 推荐(0) 编辑
摘要: 要求: 爬取网页你好,蜘蛛侠!中的Python之禅中英文版本,并且打印。 目的: 练习使用selenium爬取动态网页的信息。 练习selenium与BeautifulSoup的搭配使用。 URL https://localprod.pandateacher.com/python-manuscrip 阅读全文
posted @ 2019-05-11 23:42 三角形 阅读(396) 评论(0) 推荐(0) 编辑
摘要: 首先,登录博客人人都是蜘蛛侠。 然后,在文章《未来已来(三)——同九义何汝秀》中,发表一个评论,这个评论中必须要带有“selenium”这个词。 URL https://wordpress-edu-3autumn.localprod.forc.work/wp-login.php spiderman 阅读全文
posted @ 2019-05-11 23:40 三角形 阅读(537) 评论(0) 推荐(0) 编辑
摘要: 我们这次试试用selenium爬取QQ音乐的歌曲评论,我选的歌是《甜甜的》。 https://y.qq.com/n/yqq/song/000xdZuV2LcQ19.html 1 from selenium import webdriver 2 import time 3 4 driver = web 阅读全文
posted @ 2019-05-11 23:38 三角形 阅读(679) 评论(0) 推荐(0) 编辑
摘要: 练习介绍 【程序功能】 我们将完成一个和语义识别相关的爬虫程序,输入任意词汇、句子、文章或段落,会返回联想的词汇。 【背景信息】 有一个非常牛的处理语言的网站nlpir,上面有非常多的处理语言的功能(如分词标注、情感分析、相关词汇)。 举个例子,我输入“音乐剧”: 然后点击“Word2vec”(返回 阅读全文
posted @ 2019-05-11 23:31 三角形 阅读(689) 评论(0) 推荐(0) 编辑
摘要: 练习介绍 学了爬虫这么久,想不想接触下AI,创建一个可以聊天的机器人呀٩̋(๑˃́ꇴ˂̀๑) 要求: 实现功能:利用图灵机器人官网http://www.tuling123.com/的接口,创建一个可以聊天的机器人 1 import requests 2 import json 3 # https:/ 阅读全文
posted @ 2019-05-11 23:28 三角形 阅读(453) 评论(0) 推荐(0) 编辑
摘要: 练习介绍 想不想自己动手做个翻译器呢,一点都不难哦~ 就用你学过的post和json,一起试试爬取有道翻译自制翻译器吧ლ(^ω^ლ) 要求 实现功能:用户输入英文或中文,程序即可打印出来对应的译文。 ps:这个练习不看帮助是完不成了, 1、url去掉_o 2、post数据添加'typoResult' 阅读全文
posted @ 2019-05-11 23:24 三角形 阅读(794) 评论(0) 推荐(0) 编辑
摘要: 练习介绍 要求: 在本练习,我们会借助cookies的相关知识,使用Python登录饿了么网站,爬取自己家附近的餐厅列表。 网站地址:https://www.ele.me/home/ 目的: 练习掌握cookies和session的用法 练习post和get请求 练习json数据的解析提取 反爬虫应 阅读全文
posted @ 2019-05-11 23:21 三角形 阅读(671) 评论(0) 推荐(0) 编辑
摘要: 参考https://www.cnblogs.com/CloudMan6/p/7762369.html 将容器日志发送到 STDOUT 和 STDERR 是Docker 的默认日志行为。实际上,Docker提供了多种日志机制帮助用户从运行的容器中提取日志信息。这些机制被称作logging driver 阅读全文
posted @ 2019-05-10 10:13 三角形 阅读(311) 评论(0) 推荐(0) 编辑
摘要: 参考https://www.cnblogs.com/CloudMan6/p/7749304.html 高效的监控和日志管理对保持生产系统只需稳定的运行以及排查问题至关重要。 在微服务架构中,由于容器的数量众多以及快速变化的特性,使得记录日志和监控变的重要起来。考虑到容器短暂和不固定的生命周期,我们需 阅读全文
posted @ 2019-05-09 09:16 三角形 阅读(349) 评论(0) 推荐(0) 编辑
摘要: 参考https://www.cnblogs.com/CloudMan6/p/7736176.html 前面已经学习了 ps/top/stats、Sysdig、Weave Scope 、cAdvisor、Prometheus多种容器监控工具和方案,是时候做一个比较了。 部署难易度 ps/top/sta 阅读全文
posted @ 2019-05-08 09:36 三角形 阅读(273) 评论(0) 推荐(0) 编辑
摘要: 参考https://www.cnblogs.com/CloudMan6/p/7724576.html 部署环境: 两台 Docker Host 10.12.31.211 10.12.31.212 监控内容: 使用Prometheus 监控两台host以及上面的容器 安装组件: Prometheus  阅读全文
posted @ 2019-05-07 15:56 三角形 阅读(191) 评论(0) 推荐(0) 编辑
摘要: 参考https://www.cnblogs.com/CloudMan6/p/7709970.html 本节学习Prometheus的核心,多维数据模型 比如要监控容器 webapp1 的内存使用情况,最传统和经典的方法是定义一个指标 container_memory_usage_bytes_weba 阅读全文
posted @ 2019-05-06 15:54 三角形 阅读(197) 评论(0) 推荐(0) 编辑
摘要: 参考https://www.cnblogs.com/CloudMan6/p/7692765.html Prometheus 是一个非常优秀的监控工具,准确的说,应该是监控方案。Prometheus 提供了监控数据搜集、存储、处理、可视化和告警一整套的解决方案。 Prometheus 重要组件的架构如 阅读全文
posted @ 2019-05-05 23:15 三角形 阅读(194) 评论(0) 推荐(0) 编辑
摘要: 参考https://www.cnblogs.com/CloudMan6/p/7683190.html cAdvisor 是google 开发的容器监控工具,下面我们开始安装和体验 cAdvisor root@host1:~# cat in_cAdvisor.sh docker run \ --vol 阅读全文
posted @ 2019-04-30 11:32 三角形 阅读(260) 评论(0) 推荐(0) 编辑
摘要: 参考https://www.cnblogs.com/CloudMan6/p/7674011.html Weave Scope 除了监控容器,还可以监控Docker Host。 点击顶部 HOSTS 菜单项,地图将显示当前host。 与容器类型,点击该host图标将显示host的详细信息 host当前 阅读全文
posted @ 2019-04-29 09:15 三角形 阅读(158) 评论(0) 推荐(0) 编辑
摘要: 参考https://www.cnblogs.com/CloudMan6/p/7655294.html Weave Scope 的最大特点是会自动生成一张 Docker 容器地图,让我们能够直接的理解、监控和控制容器。千言万语不及一张图。 Weave Scope 安装 root@host1:~# cu 阅读全文
posted @ 2019-04-28 11:22 三角形 阅读(240) 评论(0) 推荐(0) 编辑