你好你好你好丶

2022年12月21日

摘要：私有仓库 # docker pull拉取，都是从hub.docker 上拉取的，公司自己做的docker镜像，放在哪比较合适 # docker push 推到 hub.docker，如果是公开，大家都可以下载，公司内部只希望公司的人用，其他人不能用 # 公司内部，需要有个仓库管理自己的镜像》私有仓阅读全文

posted @ 2022-12-21 18:32 你好你好你好丶阅读(198) 评论(0) 推荐(0) 编辑

今日内容 Docker应用部署，迁移和备份及Dockerfile

摘要：应用部署 mysql部署 # 在宿主机上不需要安装mysql了，直接拉取mysql镜像，运行成容器即可 # 部署步骤 -1 创建文件夹 mkdir /root/mysql mkdir /root/mysql/conf.d mkdir /root/mysql/data/ -2 基于镜像运行成容器（端口阅读全文

posted @ 2022-12-21 15:51 你好你好你好丶阅读(127) 评论(0) 推荐(0) 编辑

2022年12月19日

今日内容 docker的安装与操作

摘要： docker组件介绍 # Docker:容器技术，隔离 -dotCloud go写的软件 - Docker 的基础是 Linux 容器（LXC）等技术 - LXC 的基础上 Docker 进行了进一步的封装，让用户不需要去关心容器的管理，使得操作更为简便。用户操作 Docker 的容器就像操作一个阅读全文

posted @ 2022-12-19 15:19 你好你好你好丶阅读(58) 评论(0) 推荐(0) 编辑

2022年12月8日

今日内容，爬虫及Flask框架入门

摘要：加代理，cookie，header，加入selenium 加代理 # 在爬虫中间件中 def get_proxy(self): import requests res=requests.get('http://192.168.1.143:5010/get/').json() if res.get(' 阅读全文

posted @ 2022-12-08 19:38 你好你好你好丶阅读(97) 评论(0) 推荐(0) 编辑

2022年12月7日

今日内容 scrapy的使用提高爬虫效率

摘要： scrapy架构介绍引擎(ENGINE) 引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。有关详细信息，请参见上面的数据流部分调度器(SCHEDULER) 用来接收引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回，可以想象成一个URL的优先级队列，由它来决定下一个要抓取阅读全文

posted @ 2022-12-07 18:26 你好你好你好丶阅读(76) 评论(0) 推荐(0) 编辑

2022年12月6日

今日内容爬取京东网站数据

posted @ 2022-12-06 21:12 你好你好你好丶阅读(63) 评论(3) 推荐(1) 编辑

2022年11月25日

今日内容 selenium的使用

摘要： bs4搜索文档树 from bs4 import BeautifulSoup html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p id="my p" class="title">asdfasd 阅读全文

posted @ 2022-11-25 20:33 你好你好你好丶阅读(25) 评论(0) 推荐(0) 编辑

2022年11月24日

今日内容爬虫代理池搭建

摘要： request高级用法 ssl认证 # https 和http有什么区别 -https=http+ssl/tsl 证书 # 没有被认证过的机构，签发的证书，用的时候，浏览器会提示不安全 # 1 ssl认证 # 1.1 不认证证书了 # import requests # respone = requ 阅读全文

posted @ 2022-11-24 20:39 你好你好你好丶阅读(129) 评论(0) 推荐(0) 编辑

2022年11月23日

今日内容爬虫简单学习

摘要：爬虫介绍 # 爬虫：spider，网络蜘蛛 # 本质原理： -现在所有的软件原理：大部分都是基于http请求发送和获取数据的 -pc端的网页 -移动端app -模拟发送http请求，从别人的服务端获取数据 -绕过反扒：不同程序反扒措施不一样，比较复杂 # 爬虫原理 -发送http请求【request 阅读全文

posted @ 2022-11-23 21:12 你好你好你好丶阅读(128) 评论(0) 推荐(0) 编辑

2022年11月22日

今日内容项目上线

摘要：上线准备 # 1 把logs做成了包 -忽略掉日志文件后，空文件夹不会被git管理，做成包后会被管理，咱们需要logs文件夹 # 2 新建了一个manage_pro.py -服务端，迁移数据库，如果执行 python manage.py migrate 使用的数据库是测试环境 -服务端使用manag 阅读全文

posted @ 2022-11-22 21:53 你好你好你好丶阅读(29) 评论(0) 推荐(0) 编辑