12 2022 档案
摘要：私有仓库 # docker pull拉取，都是从hub.docker 上拉取的，公司自己做的docker镜像，放在哪比较合适 # docker push 推到 hub.docker，如果是公开，大家都可以下载，公司内部只希望公司的人用，其他人不能用 # 公司内部，需要有个仓库管理自己的镜像 》私有仓
阅读全文
摘要：应用部署 mysql部署 # 在宿主机上不需要安装mysql了，直接拉取mysql镜像，运行成容器即可 # 部署步骤 -1 创建文件夹 mkdir /root/mysql mkdir /root/mysql/conf.d mkdir /root/mysql/data/ -2 基于镜像运行成容器（端口
阅读全文
摘要：docker组件介绍 # Docker:容器技术 ，隔离 -dotCloud go写的软件 - Docker 的基础是 Linux 容器（LXC）等技术 - LXC 的基础上 Docker 进行了进一步的封装，让用户不需要去关心容器的管理，使得操作更为简便。用户操作 Docker 的容器就像操作一个
阅读全文
摘要：加代理，cookie，header，加入selenium 加代理 # 在爬虫中间件中 def get_proxy(self): import requests res=requests.get('http://192.168.1.143:5010/get/').json() if res.get('
阅读全文
摘要：scrapy架构介绍 引擎(ENGINE) 引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。有关详细信息，请参见上面的数据流部分 调度器(SCHEDULER) 用来接收引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回，可以想象成一个URL的优先级队列，由它来决定下一个要抓取
阅读全文
摘要：xpath的使用 xpath作为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言 简单语法： | nodename | 选取此节点的所有子节点 | | | | | / | 从根节点选取 /body/div | | / / | 从匹配选择的当前节点选择
阅读全文
