摘要： 一、框架简介 1.1、简介 Scrapy框架是用纯Python实现的一个为了爬取网站数据、提取结构性数据而编写的可扩展的开源应用框架，只需要少量代码就能够快速地实现数据爬取。往往手写一个爬虫需要进行发送网络请求、数据解析、数据存储、反反扒机制、异步请求等步骤，如果都从零开始写是比较浪费时间的，同时会 阅读全文

摘要： 随着互联网数据量的不断增加，如何快速、准确地爬取、处理、存储数据成为了互联网应用开发的关键问题。而Scrapy框架作为一个高效的爬虫框架，凭借其灵活、高速的爬取方式被广泛应用于各种数据爬取场景。 然而，仅仅将爬取到的数据保存到文件中，无法满足大部分应用程序的需要。因为在当前的应用程序中，大多数数据都 阅读全文

摘要： 来源：http://www.shanhubei.com/archives/3402.html <div class='aaaa bbbb'>春天的菠菜</div>1、通过定位一个class方式 //div[contains(@class,"aaaa")]) #它会取得所有class为aaaa的元素2 阅读全文

摘要： 1、Apache 在项目根目录的【.htaccess】文件（如果没有则新建文件），添加如下代码 # BEGIN WordPress # 在“BEGIN WordPress”与“END WordPress”之间的指令（行）是 # 动态生成的，只应被WordPress过滤器修改。 # 任何对标记之间的指 阅读全文

摘要： linux关闭nginx的方法：1、利用“ps -ef | grep nginx”命令查看nginx进程后，利用“kill -QUIT 进程号”关闭nginx即可；2、利用“kill -TERM 999”快速杀死进程即可；3、利用“pkill -9 nginx”强行停止进程即可。4、利用“kill 阅读全文

摘要： 在实际项目中，使用docker run xxXx 和docker-compose up -d 不在同一个网段，一个是默认是172.17.x.x, 另一个是172.19.x.x。为解决这个问题需要自定义一个网络，我命名为“my-bridge” 首先熟悉几条命令： docker network ls 或 阅读全文

摘要： 如何将word文档带批注的转化为pdf并且显示批注： 1、用word打开需要转换成pdf而且还带批注痕迹的word文件。 2、打开word文件之后，点击word左上角的文件处。 3、然后点击左边这一排上的“另存为”。 注意：千万不要选另存为下面的另存为AdobePDF，这样保存下来的文件是没有批注的 阅读全文

摘要： npm降低版本,设置指定版本 方法一 npm 版本太高了，项目启不起来，或者其他需求需要低版本可能有些版本已经不支持下载了，可以去官网看看哪些还可以下载，大部分版本都还可以下载 npm install npm@6.14.12 -g 查看npm 版本，是否修改成功 npm -v 方法二 使用cnpm来 阅读全文

摘要： go语言window|mac|linux下交叉编译其他平台的软件包 注意：go1.17 发现直接使用set 是不起作用的， 必须要使用go env -w 来设置 一、设置编译环境，需要发布哪个平台 Window下 1、 设置Linux编译环境 SET CGO_ENABLED=0 set GOARCH 阅读全文

摘要： 在运行go程序的时候， xxxx connectex: A connection attempt failed because the connected party did not properly respond after a period of time, or established co 阅读全文