摘要： 1.设置代理可参考文章 https://blog.csdn.net/qq_42712552/article/details/88906955 2.在middlewares.py文件中设置 找到xxx_DownloaderMiddleware下载器中间件类,我创建的项目为scrapy_sample，所 阅读全文

摘要： 1. 首先设置scrapy断点，参考https://www.cnblogs.com/changbaishan/p/15880018.html, 下面是我的代码： mian.py 与scrapy.cfg在同一层级 from scrapy.cmdline import execute import os 阅读全文

摘要： 并发数可以在scrapy项目的settings.py文件中设置。 1.CONCURRENT_ITEMS 是指：最大并发项目数，默认100个。 2.CONCURRENT_REQUESTS 是指：下载器将执行的并发（即同时）请求的最大数量，默认16个。 3.CONCURRENT_REQUESTS_PER 阅读全文

摘要： 一. splash介绍 1.Splash 是一个带有 HTTP API 的 javascript 渲染服务。它是一个带有 HTTP API 的轻量级浏览器，使用 Twisted 和 QT5 在 Python 3 中实现。 2.Splash特点： 1)它快速、轻量且无状态，使其易于分发。 2)并行处理 阅读全文

摘要： scrapyd API接口，这里使用postman工具调用，每个接口都添加了scrapyd服务需要的Basic Auth类型用户名和密码。 1.daemonstatus.json接口 检查服务的负载状态 get请求，传参无 #get请求 http://120.xx.xxx.xxx:6800/daem 阅读全文

摘要： 一.安装 pip3 install -U gerapy 使用python3.68版本安装gerapy,报错提示：ModuleNotFoundError: No module named 'setuptools_rust' 解决方法更新pip3 pip3 install --upgrade pip 安 阅读全文

摘要： 一.修改表中数据示例 1.找到要修改的db文件，这里是db.sqlite3文件, 找到要修改的表，修改密码名和密码 [root@iZwz927xptl8kw8zqrmwvcZ dbs]# pwd /usr/local/gerapy/dbs [root@iZwz927xptl8kw8zqrmwvcZ 阅读全文

摘要： 一.安装 环境centos 8 yum -y install git [root@iZwz927xptl8kw8zqrmwvcZ ebs_crawler]# git --version git version 2.27.0 二.拉取源码，指定分支 #先指定clone目录 cd /usr/local/ 阅读全文

摘要： 一.环境 阿里云centos 8.5 默认自带了python 3.6版本，由于很多插件更新快，需要更高的版本，这里升级到python3.10.5最新稳定版本。 1）查看python3默认版本 [root@iZwz927xptl8kw8zqrmwvcZ ~]# python3 Python 3.6.8 阅读全文

摘要： 问题： 通过docker创建容器后，容器中运行的时间可能与宿主时间不一致，centos系统检查方法： #本地时间 [root@iZwz927xptl8kw8zqrmwvcZ Asia]# date Wed Jul 20 15:33:21 CST 2022 #查看容器中时间，少了8小时 [root@i 阅读全文