06 2023 档案
摘要:Docker网络管理_自定义网络 基础命令 docker network --help 命令名称 说明 docker network connect 将容器连接到网络 docker network create 创建一个网络 docker network disconnect 断开容器的网络 doc
阅读全文
摘要:Docker网络管理_四种网络模式 Docker使用Linux桥接,在宿主机虚拟一个Docker容器网桥(docker0),Docker启动一个容器时根据Docker网桥的网段分配给容器一个IP地址,称为Container-IP,同时Docker网桥是每个容器的默认网关 四类网络模式 Docker网
阅读全文
摘要:Docker网络管理_Docker0网络详解 清空所有容器来测试 docker stop $(docker ps -aq)docker rm $(docker ps -aq) 思考 注意: 每启动一个docker容器, docker就会给容器分配一个ip,只要安装docker就会有一个docker0
阅读全文
摘要:Dockerfile完全指南_常见的13种指令上 FROM 指定基础镜像,必须为第一个命令。 指令格式: FROM <image> FROM <image>:<tag> 注意: tag或digest是可选的,如果不使用这两个值时,会使用latest版本的基础镜像 MAINTAINER 维护者信息 指
阅读全文
摘要:Dockerfile完全指南_构建镜像 简单示例 在一个空白的文本文件, 命名为Dockerfile vim Dockerfile 示例1 Dockerfile文件内容: #基础镜像 FROM centos #维护者 MAINTAINER baizhan<baizhan@163.com> #启动容器
阅读全文
摘要:Dockerfile完全指南_什么是Dockerfile 概述 Dockerfile是一个文本格式的配置文件,用户可以使用Dockerfile快速创建自定义的镜像。 基本结构 Dockerfile由一行行命令语句组成,并且支持以#开头的注释行。一般而言,Dockerfile分为四部分:基础镜像信息、
阅读全文
摘要:为什么要反爬 爬虫:使用任何技术手段,批量获取网站信息的一种方式。关键在于批量 反爬虫:使用任何技术手段,阻止别人批量获取自己网站信息的一种方式。关键也在于批量 因爬虫的访问频率过高影响服务器的运行 影响别人业务 导致服务器宕机 单一的DoS攻击一般是采用一对一方式的,它利用网络协议和操作系统的一些
阅读全文
摘要:mongodb和python交互 安装环境 pip install pymongo==4.2.0 官方文档:https://pymongo.readthedocs.io/en/stable/ 使用样例 引入包pymongo import pymongo 连接,创建客户端 client = pymon
阅读全文
摘要:Mongo中唯一索引\复合索引 唯一索引 在默认情况下mongdb的索引的值是可以相同的,创建唯一索引之后,数据库会在插入数据的时候检查创建索引域的值是否存在,如果存在则不会插入该条数据,但是创建索引仅仅能够提高查询速度,同时降低数据库的插入速度 添加唯一索引的语法 db.集合名.createInd
阅读全文
摘要:MongoDB索引Index 索引概述 索引通常能够极大的提高查询的效率,如果没有索引,MongoDB在读取数据时必须扫描集合中的每个文件并选取那些符合查询条件的记录 这种扫描全集合的查询效率是非常低的,特别在处理大量的数据时,查询可以要花费几十秒甚至几分钟,这对应用的性能是非常致命的 创建索引 M
阅读全文
摘要:聚合操作之排序、分页 管道命令之$sort $sort用于将输入的文档排序后输出 使用示例如下: 查询人物,按照年龄升序 db.person.aggregate([{$sort:{age:1}}]) 查询每个国家的人数,并排序 db.person.aggregate([ {$group:{_id:"
阅读全文
摘要:聚合操作之分组、过滤 MongoDB 中聚合(aggregate)主要用于处理多个文档(诸如统计平均值,求和等),并返回计算后的数据结果。 对多个文档进行分组 对分组的文档执行操作并返回单个结果 分析数据变化 语法:db.集合名称.aggregate([{管道:{表达式}}]) 管道命令之$grou
阅读全文
摘要:Docker实战_Mysql数据卷挂载 搜索镜像 docker search mysql:5.7 下载镜像 docker pull mysql:5.7 运行镜像 docker run -d -p 3306:3306 \ -v /opt/mysql/conf:/etc/mysql/conf.d \ -
阅读全文
摘要:Docker数据管理_数据卷容器 Volume基本使用 参数: create # 创建数据卷 inspect #查看数据卷元数据 ls #查看数据卷列表 prune #删除所有未使用的卷 rm #删除数据卷 创建一个自定义容器 docker volume create edc-tomcat-vol
阅读全文
摘要:Docker数据管理_配置数据卷 命令 docker run -v 宿主机目录(文件):容器内目录(文件) webapps 注意事项 目录必须是绝对路径 如果目录不存在则会自动创建 可以挂载多个数据卷 示例 给Tomcat服务器挂载/opt/webapps路径。 docker run -d --na
阅读全文
摘要:Docker数据管理_为什么使用数据卷 什么是容器数据卷 Docker中的数据可以存储在类似于虚拟机磁盘的介质中,在Docker中称为数据卷(Data Volume) 思考 Docker容器删除后,在容器中产生的数据还在吗? Docker容器和外部机器可以直接交换文件吗? 容器之间能进行数据交互?
阅读全文
摘要:数据的查询 若要从集合中选择文档,可以使用 find()或者findOne() 方法。若要选择集合中的所有文档,请将空文档作为查询筛选器文档传递给该方法。 编写语法为 db.集合名.函数名() 函数名 含义 find( <{条件文档}>) 查找到所有匹配数据 findOne( <{条件文档}>) 只
阅读全文
摘要:删除文档 编写语法为 db.集合名.函数名() 函数名 含义 remove( <query>) 参数query:匹配符合的删除条件数据 deleteOne( <query>) 更新一条数据 deleteMany( <query>) 更新多条数据 样例 删除集合所有文档 db.集合名.deleteMa
阅读全文
摘要:数据的更新 编写语法为 db.集合名.函数名() 函数名 含义 update( <query>, <update> ,{multi: <boolean>}) 参数query:查询条件,类似sql语句update中where部分参数update:更新操作符,类似sql语句update中set部分参数m
阅读全文
摘要:数据的增加 MongoDB将文档存储在集合中。集合类似于关系数据库中的表。如果集合不存在,MongoDB 会在首次存储该集合的数据时创建该集合。 编写语法为 db.集合名.函数名() 函数名含义 save( ) 保存文档。文档不存在时,新创建一个文档; 文档存在,更新文档 insert( ) 插入文
阅读全文
摘要:MongoDB基础命令 计算机存储数据的概念如下: 查看数据库 列出所有在物理上存在的数 show dbs; 切换数据库/创建数据库 如果数据库不存在,则指向数据库,但不创建,直到插入数据或创建集合时数据库才被创建 use 数据库名; 删除当前数据库 删除当前指向的数据库 如果数据库不存在,则什么也
阅读全文
摘要:Docker 安装 MongoDB Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中,然后发布到任何流行的 Linux或Windows操作系统的机器上,也可以实现虚拟化。 访问Explore Docker's Container Image Repos
阅读全文
摘要:Docker核心命令_其他命令 查看日志 语法格式: docker logs 容器id 参数: -f, --follow 跟踪实时日志 --since string 显示自某个timestamp之后的日志,或相对时间,如42m(即42分钟) --tail string 从日志末尾显示多少行日志, 默
阅读全文
摘要:Docker核心命令_容器命令 当我们有了镜像,才可以创建容器, 创建一个centos容器来学习 创建容器 Docker的容器十分轻量级,用户可以随时创建或者删除容器。 语法格式 docker create -it 镜像名字 注意: 使用docker create命令新建的容器处于停止状态,可以使用
阅读全文
摘要:Docker核心命令_镜像命令 Docker运行容器前需要本地存在对应的镜像,如果镜像不存在本地,Docker会尝试先从默认镜像仓库下载(默认使用Docker Hub公共注册服务器中的仓库),用户也可以通过配置,使用自定义的镜像仓库。 镜像下载 镜像是Docker运行容器的前提。 语法格式: doc
阅读全文
摘要:Docker安装 系统环境 序号 软件 版本 1 Centos 7.5 2 Linux内核 3.8之上 关闭防火墙 systemctl stop firewalld 关闭selinux vim /etc/selinux/config SELINUX=disabled 安装docker引擎 yum i
阅读全文
摘要:Docker核心概念 Docker技术的三大核心概念,分别是: 镜像(Image) 容器 (Container) 仓库 (Repository) Docker镜像 Docker 镜像 (Image) 类似于虚拟机镜像,可以将它理解为个面向 Docker引擎的模板,包含了文件系统。 镜像从何而来 从D
阅读全文
摘要:为什么要使用Docker Docker容器虚拟化的好处 开发者需要能方便高效构建应用,并且任何时间任何地点都可以获取。 Docker在开发和运维中的优势 对开发和运维( DevOps)人员来说,可能最梦寐以求的就是一次性地创建或配置,可以在任意环境、任意时间让应用正常地运行。而Docker恰恰是可以
阅读全文
摘要:什么是Docker Docker 是一个开源的应用容器引擎,基于 Go 语言 并遵从 Apache2.0 协议开源。 ogo解释: 标志是一头鲸鱼携带着一堆容器。它正在向您发送这些信息的途中。Docker直译过来是码头工人,然而Docker给人的第一感觉是容器,容器技术英译为Linux Contai
阅读全文
摘要:Linux安装MongoDB 环境 Linux: Centos7 MongoDB: 5.0.9 下载位置官网:https://www.mongodb.com/try/download/community https://fastdl.mongodb.org/linux/mongodb-linux-x
阅读全文
摘要:MongoDB通过配置文件管理参数 问题 启动MongoDB时,编写参数太麻烦 解决方案 通过配置文件统一管理 建立配置文件 在MongoDB家目录创建mongo.conf配置文件,编写内容如下: #数据库路径 dbpath=D:\Program Files\mongodb-win32-x86_64
阅读全文
摘要:Windows安装与启动MongoDB 下载 企业版-收费 社区版-免费 下载Mongodb https://www.mongodb.com/try/download/community 选择版本 稳定版5.0.9 选择平台 Windows 选择安装包类型 ZIP压缩版 解压即用 启动MongoDB
阅读全文
摘要:Mongo_如果快速学习Mongo MongoDB与RDMS(关系型数据库)比较,如下图所示 RDMS MongoDB database(数据库) database(数据库) table (表) collection( 集合) row( 行) document( BSON 文档) column (列
阅读全文
摘要:MongoDB介绍 MongoDB简介 MongoDB 是免费开源的跨平台 NoSQL 数据库,命名源于英文单词 humongous,意思是「巨大无比」,可见开发组对 MongoDB 的定位。 与关系型数据库不同,MongoDB 的数据以类似于 JSON 格式的二进制文档存储: { name: "i
阅读全文
摘要:下载中间件实战-Scrapy与Selenium结合 有的页面反爬技术比较高端,一时破解不了,这时我们就是可以考虑使用selenium来降低爬取的难度。 问题来了,如何将Scrapy与Selenium结合使用呢? 思考的思路: 只是用Selenium来帮助下载数据。因此可以考虑通过下载中间件来处理这块
阅读全文
摘要:from scrapy.downloadermiddlewares.httpproxy import HttpProxyMiddleware class MyProxyMiddleware: def process_request(self, request, spider): # request.
阅读全文
摘要:Scrapy 中 Downloader 设置UA 下载中间件是Scrapy请求/响应处理的钩子框架。这是一个轻、低层次的应用。 通过可下载中间件,可以处理请求之前和请求之后的数据。 如果使用下载中间件需要在Scrapy中的setting.py的配置DOWNLOADER_MIDDLEWARES才可以使
阅读全文
摘要:Scrapy中下载中间件 下载中间件是Scrapy请求/响应处理的钩子框架。这是一个轻、低层次的应用。 通过可下载中间件,可以处理请求之前和请求之后的数据。 每个中间件组件都是一个Python类,它定义了一个或多个以下方法,我们可能需要使用方法如下: process_request() proces
阅读全文
摘要:FormRequest是Request的扩展类,具体常用的功能如下: 请求时,携带参数,如表单数据 从Response中获取表单的数据 FormRequest类可以携带参数主要原因是:增加了新的构造函数的参数formdata。其余的参数与Request类相同. formdata参数类型为:dict
阅读全文
摘要:Cookie的使用 import scrapy class CookieSpider(scrapy.Spider): name = "爬虫名" allowed_domains = ["域名.com"] start_urls = ["url地址"] def start_requests(self):
阅读全文
摘要:import scrapy class BaiduSpider(scrapy.Spider): name = "baidu" allowed_domains = ["baidu.com"] start_urls = ["https://baidu.com"] def parse(self, resp
阅读全文
摘要:request里面的meta 的使用 import scrapy class Xs2Spider(scrapy.Spider): name = "爬虫名" allowed_domains = ["域名"] start_urls = ["url地址"] def parse(self, response
阅读全文
摘要:爬虫中请求与响应是最常见的操作,Request对象在爬虫程序中生成并传递到下载器中,后者执行请求并返回一个Response对象 一个Request对象表示一个HTTP请求,它通常是在爬虫生成,并由下载执行,从而生成Response 参数 url(string) - 此请求的网址 callback(c
阅读全文
摘要:LinkExtractor提取链接 创建爬虫 scrapy genspider 爬虫名 域名 -t crawl spider from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider,
阅读全文
摘要:创建CrawlSpider scrapy genspider -t crawl 爬虫名 (allowed_url) Rule对象 Rule类与CrawlSpider类都位于scrapy.contrib.spiders模块中 class scrapy.contrib.spiders.Rule( lin
阅读全文
摘要:spider import scrapy class XiaoshuoSpider(scrapy.Spider): name = "爬虫名" allowed_domains = ["域名"] start_urls = ["第一章url地址"] def parse(self, response): #
阅读全文
摘要:创建一个项目 scrapy startproject myfrist(project_name) 创建一个爬虫 scrapy genspider 爬虫名 爬虫地址 需要安装pillow pip install pillow 报错:twisted.python.failure.Failure Open
阅读全文