摘要:常见状态码: 1xx:临时响应,需要请求者继续执行操作的状态代码 100 Continue 服务器仅接收到部分请求,但是一旦服务器并没有拒绝该请求,客户端应该继续发送其余的请求 101 Switching Protocols 客户端要求服务器转化协议。 2xx表示成功处理了请求。 200 OK 服务
阅读全文
摘要:docker 安装 常用命令 docker version 查看版本 docker search hello world 搜索docker的镜像 docker pull hello world 下载docker的镜像 docker push 镜像名 把本地镜像推送到dockerhub docker
阅读全文
摘要:安装Python3 卸载编译安装的python3 获取Python3源码 wget https://www.python.org/ftp/python/3.7.3/Python 3.7.3.tgz 编译安装Python3 1. ./configure enable shared 2. make &&
阅读全文
摘要:Centos下redis相关 安装 源码安装 按照redis官网进行安装。 yum安装 多实体 1. 备份redis.conf 2. 修改redis.conf 3. 查看redis密码 127.0.0.1:6379 CONFIG get requirepass 4. 设置密码 127.0.0.1:6
阅读全文
摘要:centos下Mariadb相关 MariaDB 是一个采用 Maria 存储引擎的MySQL分支版本,是由原来 MySQL 的作者 Michael Widenius 创办的公司所开发的免费开源的数据库服务器。目标是提供一个由社区开发的、稳定的、总是免费的MySQL分支,在用户级别上兼容主流版本。M
阅读全文
摘要:分布式爬虫 scrapy框架是否可以自己实现分布式? 不可以 多台机器上部署的scrapy会各自拥有自己的调度器,这样就使得多台机器无法分配start_url列表中的url。即:多台机器无法共享同一个调度器。 多台机器爬取到的数据无法通过同一个管道对数据进行统一的数据持久化储存。即:多台机器无法共享
阅读全文
摘要:CrawlSpider 简介 CrawlSpider是Spider的一个子类,除继承了Spider的特性和功能外,还派生了自由的更强大的特性和能力。最显著的功能是"LinkExtracts",Spider是所有爬虫的基类,设计原则只是为了爬取start_url列表中的网页,而从爬取到的网页中进一步提
阅读全文
摘要:scrapy Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。 Scrapy 常应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。 Scrapy 是 基于twisted框架 开发而来,twisted是一个流行的事件驱动的python网络框架。因
阅读全文