摘要：
练习介绍 学了爬虫这么久，想不想接触下AI，创建一个可以聊天的机器人呀٩̋(๑˃́ꇴ˂̀๑) 要求： 实现功能：利用图灵机器人官网http://www.tuling123.com/的接口，创建一个可以聊天的机器人 1 import requests 2 import json 3 # https:/
阅读全文
posted @ 2019-05-11 23:28
三角形
阅读(478)
推荐(0)
摘要：
练习介绍 想不想自己动手做个翻译器呢，一点都不难哦～ 就用你学过的post和json，一起试试爬取有道翻译自制翻译器吧ლ(＾ω＾ლ) 要求 实现功能：用户输入英文或中文，程序即可打印出来对应的译文。 ps：这个练习不看帮助是完不成了， 1、url去掉_o 2、post数据添加'typoResult'
阅读全文
posted @ 2019-05-11 23:24
三角形
阅读(847)
推荐(0)
摘要：
练习介绍 要求： 在本练习，我们会借助cookies的相关知识，使用Python登录饿了么网站，爬取自己家附近的餐厅列表。 网站地址：https://www.ele.me/home/ 目的： 练习掌握cookies和session的用法 练习post和get请求 练习json数据的解析提取 反爬虫应
阅读全文
posted @ 2019-05-11 23:21
三角形
阅读(725)
推荐(0)
摘要：
参考https://www.cnblogs.com/CloudMan6/p/7762369.html 将容器日志发送到 STDOUT 和 STDERR 是Docker 的默认日志行为。实际上，Docker提供了多种日志机制帮助用户从运行的容器中提取日志信息。这些机制被称作logging driver
阅读全文
posted @ 2019-05-10 10:13
三角形
阅读(326)
推荐(0)
摘要：
参考https://www.cnblogs.com/CloudMan6/p/7749304.html 高效的监控和日志管理对保持生产系统只需稳定的运行以及排查问题至关重要。 在微服务架构中，由于容器的数量众多以及快速变化的特性，使得记录日志和监控变的重要起来。考虑到容器短暂和不固定的生命周期，我们需
阅读全文
posted @ 2019-05-09 09:16
三角形
阅读(370)
推荐(0)
摘要：
参考https://www.cnblogs.com/CloudMan6/p/7736176.html 前面已经学习了 ps/top/stats、Sysdig、Weave Scope 、cAdvisor、Prometheus多种容器监控工具和方案，是时候做一个比较了。 部署难易度 ps/top/sta
阅读全文
posted @ 2019-05-08 09:36
三角形
阅读(288)
推荐(0)
摘要：
参考https://www.cnblogs.com/CloudMan6/p/7724576.html 部署环境： 两台 Docker Host 10.12.31.211 10.12.31.212 监控内容： 使用Prometheus 监控两台host以及上面的容器 安装组件： Prometheus
阅读全文
posted @ 2019-05-07 15:56
三角形
阅读(208)
推荐(0)
摘要：
参考https://www.cnblogs.com/CloudMan6/p/7709970.html 本节学习Prometheus的核心，多维数据模型 比如要监控容器 webapp1 的内存使用情况，最传统和经典的方法是定义一个指标 container_memory_usage_bytes_weba
阅读全文
posted @ 2019-05-06 15:54
三角形
阅读(227)
推荐(0)
摘要：
参考https://www.cnblogs.com/CloudMan6/p/7692765.html Prometheus 是一个非常优秀的监控工具，准确的说，应该是监控方案。Prometheus 提供了监控数据搜集、存储、处理、可视化和告警一整套的解决方案。 Prometheus 重要组件的架构如
阅读全文
posted @ 2019-05-05 23:15
三角形
阅读(204)
推荐(0)
摘要：
参考https://www.cnblogs.com/CloudMan6/p/7683190.html cAdvisor 是google 开发的容器监控工具，下面我们开始安装和体验 cAdvisor root@host1:~# cat in_cAdvisor.sh docker run \ --vol
阅读全文
posted @ 2019-04-30 11:32
三角形
阅读(298)
推荐(0)
摘要：
参考https://www.cnblogs.com/CloudMan6/p/7674011.html Weave Scope 除了监控容器，还可以监控Docker Host。 点击顶部 HOSTS 菜单项，地图将显示当前host。 与容器类型，点击该host图标将显示host的详细信息 host当前
阅读全文
posted @ 2019-04-29 09:15
三角形
阅读(175)
推荐(0)
摘要：
参考https://www.cnblogs.com/CloudMan6/p/7655294.html Weave Scope 的最大特点是会自动生成一张 Docker 容器地图，让我们能够直接的理解、监控和控制容器。千言万语不及一张图。 Weave Scope 安装 root@host1:~# cu
阅读全文
posted @ 2019-04-28 11:22
三角形
阅读(248)
推荐(0)
摘要：
参考https://www.cnblogs.com/CloudMan6/p/7646995.html sysdig 是一个轻量级的系统监控工具，同时他还原生支持容器。通过sysdig我们可以近距离观察linux操作系统和容器的行为。 Linux上有很多常用的监控工具，比如 strace tcpdum
阅读全文
posted @ 2019-04-26 13:56
三角形
阅读(502)
推荐(0)
摘要：
参考https://www.cnblogs.com/CloudMan6/p/7637361.html 当 Docker 部署规模逐步变大后，可视化监控容器环境的性能和健康状态会变得越来越重要。 在本章中，我们将学习几个目前比较常用的容器监控工具和方案，为以后构建自己的监控系统提供参考。 首先我们会讨
阅读全文
posted @ 2019-04-25 09:53
三角形
阅读(409)
推荐(0)
摘要：
参考https://www.cnblogs.com/CloudMan6/p/7630205.html 上一节我们在docker1上创建mysql容器，并使用了 Rex-Ray volume mysqldata ，更新了数据库内容。最后将容器销毁了。 本节我们将在docker2上创建一个mysql容器
阅读全文
posted @ 2019-04-21 03:06
三角形
阅读(211)
推荐(0)
摘要：
参考https://www.cnblogs.com/CloudMan6/p/7624556.html 前面我们安装部署了 Rex-Ray ，并且成功配置 Virtualbox backend ，今天学习如何创建和使用 Rex-Ray volume 在 docker1 或 docker2 上执行如下命
阅读全文
posted @ 2019-04-21 03:00
三角形
阅读(210)
推荐(0)
摘要：
参考https://www.cnblogs.com/CloudMan6/p/7617211.html Rex-Ray 支持多种backend，本节学习如何配置 virtualbox的backend 1、在Virtualbox 宿主机上，启动 vboxwebsrv 服务： C:\Program Fil
阅读全文
posted @ 2019-04-21 02:59
三角形
阅读(241)
推荐(0)
摘要：
参考https://www.cnblogs.com/CloudMan6/p/7607705.html Rax-Ray 是一个优秀的Docker volume driver ，本节将学习其安装和配置方法。 Rex-Ray 以 standalone 进程的方式运行在 Docker 主机上，安装方法很简单
阅读全文
posted @ 2019-04-21 02:58
三角形
阅读(467)
推荐(0)
摘要：
参考https://www.cnblogs.com/CloudMan6/p/7595437.html 从业务数据的角度看，容器可以分为两类：无状态（stateless）容器和有状态（stateful）容器。 无状态是指容器在运行过程中不需要保存数据，每次访问的结果不依赖上一次访问，比如提供静态页面的
阅读全文
posted @ 2019-04-18 10:01
三角形
阅读(166)
推荐(0)
摘要：
参考https://www.cnblogs.com/CloudMan6/p/7587532.html 前面各个小节我们学习了 Docker Overlay 、Macvlan 、Flannel、Weave 、Calico几种跨主机网络方案。目前这个领域是百家争鸣，而且还有新的方案不断涌现。 本节将从不
阅读全文
posted @ 2019-04-17 10:31
三角形
阅读(434)
推荐(0)
摘要：
本文记录学习 cookies 和 session 的一些小练习和知识点 知识点1 cookies 和 session 的由来 HTTP协议是无状态的协议，因为一旦浏览器和服务器之间的请求和响应完毕后，两者就会立马断开，也就是恢复成无状态。 这样就会导致一个问题，服务器永远无法辨认，也记不住用户的信息
阅读全文
posted @ 2019-04-16 23:07
三角形
阅读(599)
推荐(0)
摘要：
先说下，我可以说完全没有看题目要求，我只看了下扇贝网的单词测试工具就开始编码了，写出来的代码尽可能的模仿了网站上的效果。 因为把问题搞复杂了，在这个练习上耽误了很长时间，最后都不想写了，所以代码有些混乱，也没有注释。 后面会把代码重新整理一下，既满足了课程的要求，又包含网站上的那些功能。 利用扇贝网
阅读全文
posted @ 2019-04-16 22:51
三角形
阅读(5090)
推荐(0)
摘要：
爬取知乎大v张佳玮的文章“标题”、“摘要”、“链接”，并存储到本地文件 下面截图是有一次只爬了一页的结果
阅读全文
posted @ 2019-04-16 22:42
三角形
阅读(1222)
推荐(0)
摘要：
解决14中csv用excel打开乱码的问题 ，其实就是在写csv的时候把 utf-8 改成 utf-8-sig open('zhihu.csv','w',newline='',encoding='utf-8-sig') 这个和csv文件的bom有关，参考下面信息 下面是在练习14的基础上改一下编码，
阅读全文
posted @ 2019-04-16 22:39
三角形
阅读(865)
推荐(0)
摘要：
记得我们第三关的时候爬取了豆瓣TOP250的电影名/评分/推荐语/链接，现在呢，我们要把它们存储下来，记得用今天课上学的csv和excel，分别存储下来哦～ URL https://movie.douban.com/top250?start=0 1 import csv 2 import openp
阅读全文
posted @ 2019-04-16 22:30
三角形
阅读(1330)
推荐(0)
摘要：
1 import requests 2 import openpyxl 3 4 res = requests.get('https://c.y.qq.com/soso/fcgi-bin/client_search_cp?ct=24&qqmusic_ver=1298&new_json=1&remote
阅读全文
posted @ 2019-04-16 22:29
三角形
阅读(248)
推荐(0)
摘要：
参考https://www.cnblogs.com/CloudMan6/p/7571272.html 在前面的学习中，我们没有特别配置，calico会自动为网络分配subnet，当然我们也可以根据需求定制。 # 1、创建一个IP池的yaml文件 root@host1:~# cat subnet.ya
阅读全文
posted @ 2019-04-16 09:14
三角形
阅读(621)
推荐(0)
摘要：
参考https://www.cnblogs.com/CloudMan6/p/7552618.html Calico默认的policy是：容器只能与同一个calico网络中的容器通信。 Calico能够让用户定义灵活的policy规则，精细化控制进出容器的流量，比如下面的实验： 1、创建一个新的cal
阅读全文
posted @ 2019-04-15 10:00
三角形
阅读(447)
推荐(0)
摘要：
参考https://www.cnblogs.com/CloudMan6/p/7536746.html Calico 跨主机连通性测试 root@host1:~# docker exec bbox1 ping -c 2 bbox2 PING bbox2 (192.168.183.64): 56 dat
阅读全文
posted @ 2019-04-12 09:49
三角形
阅读(277)
推荐(0)
摘要：
实现功能：用户输入快递名称和单号，程序即可在快递100https://www.kuaidi100.com/爬取最新物流状态，并将其打印出来。 1 #12 一键查快递 2 # 实现功能：用户输入快递名称和单号，程序即可在快递100https://www.kuaidi100.com/爬取最新物流状态，并
阅读全文
posted @ 2019-04-11 20:50
三角形
阅读(1786)
推荐(0)
摘要：
1 #11 按照提示输入歌手名字，爬取该歌手所有歌曲信息 2 3 import requests 4 from bs4 import BeautifulSoup 5 from urllib.request import quote 6 7 w_name = input('请输入你喜欢的歌手名字： ') 8 w_code = quote(w_name) 9 10 res =...
阅读全文
posted @ 2019-04-11 20:49
三角形
阅读(900)
推荐(0)
摘要：
需求就是把关卡内的代码稍作修改，将周杰伦前五页歌曲的歌词都爬取下来，结果就是全部展示打印出来。 URL https://y.qq.com/portal/search.html#page=1&searchid=1&remoteplace=txt.yqq.top&t=song&w=%E5%91%A8%E
阅读全文
posted @ 2019-04-11 20:48
三角形
阅读(3353)
推荐(0)
摘要：
找到七里香这首歌的精彩评论 URL https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg?g_tk=5381&loginUin=0&hostUin=0&format=json&inCharset=utf8&outCharset=GB23
阅读全文
posted @ 2019-04-11 20:43
三角形
阅读(548)
推荐(0)
摘要：
找到周杰伦所有歌曲的 歌曲名、所属专辑、播放时长，播放链接 URL https://c.y.qq.com/soso/fcgi-bin/client_search_cp?ct=24&qqmusic_ver=1298&new_json=1&remoteplace=txt.yqq.song&searchi
阅读全文
posted @ 2019-04-11 20:42
三角形
阅读(684)
推荐(0)
摘要：
用户输入喜欢的电影名字，程序即可在电影天堂爬取电影所对应的下载链接，并将下载链接打印出来。 URL https://www.ygdy8.com 1 #7、一键下电影 2 # 用户输入喜欢的电影名字，程序即可在电影天堂爬取电影所对应的下载链接，并将下载链接打印出来。 3 # URL https://w
阅读全文
posted @ 2019-04-11 20:41
三角形
阅读(1404)
推荐(0)
摘要：
把豆瓣TOP250里面的 序号/电影名/评分/推荐语/链接 都爬取下来，结果就是全部展示打印出来 URL https://movie.douban.com/top250?start= 1 #6、豆瓣爬虫 2 # 把豆瓣TOP250里面的 序号/电影名/评分/推荐语/链接 都爬取下来，结果就是全部展示
阅读全文
posted @ 2019-04-11 20:39
三角形
阅读(833)
推荐(0)
摘要：
爬取“本周最受欢迎”页面上菜谱的：菜名、所需材料、和菜名所对应的详情页URL。 URL http://www.xiachufang.com/explore/ 1 #5、解密吴氏私厨 2 # 爬取“本周最受欢迎”页面上菜谱的：菜名、所需材料、和菜名所对应的详情页URL。 3 # URL http://
阅读全文
posted @ 2019-04-11 20:38
三角形
阅读(1165)
推荐(0)
摘要：
题目要求：你需要爬取的是博客人人都是蜘蛛侠，首页的四篇文章信息，并且打印提取到的信息。 提取每篇文章的：文章标题、发布时间、文章链接 网页URL:https://spidermen.cn/ 1 #4、博客文章 2 # 题目要求：你需要爬取的是博客人人都是蜘蛛侠，首页的四篇文章信息，并且打印提取到的信
阅读全文
posted @ 2019-04-11 20:37
三角形
阅读(857)
推荐(0)
摘要：
题目要求：你需要爬取的是网上书店Books to ScrapeTravel这类书中，所有书的书名、评分、价格三种信息，并且打印提取到的信息。 网页URL:http://books.toscrape.com/catalogue/category/books/travel_2/index.html 1
阅读全文
posted @ 2019-04-11 20:35
三角形
阅读(1471)
推荐(0)
摘要：
你需要爬取的是网上书店Books to Scrape中所有书的分类类型，并且将它们打印出来。 它的位置就在网页的左侧，如：Travel，Mystery，Historical Fiction…等。 网页URL:http://books.toscrape.com/ 1 #2、书店寻宝（一） 2 # 你需
阅读全文
posted @ 2019-04-11 20:34
三角形
阅读(1056)
推荐(0)
浙公网安备 33010602011771号