猪油哥哥

摘要： 一 介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon As 阅读全文

摘要： 一 介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Scrapy的Scheduler，让新的Schedul 阅读全文

摘要： 引言 在现代软件开发中，内存管理是保证程序性能和稳定性的关键因素之一。垃圾回收（Garbage Collection，GC）作为一种自动内存管理机制，它能够自动释放不再使用的内存资源，从而避免内存泄漏和程序崩溃。Python作为一种高级编程语言，其内置的垃圾回收机制对于开发者来说是一个强大的工具，但 阅读全文

摘要： MySQL8.0.22安装及配置(超详细) 大家好，今天我们来学习一下 MySQL8.0.22安装及配置，好好看，好好学，超详细的 第一步 进入MySQL官网下载，如下图所示： 第二步 进入下载完成后解压到除c盘以外的盘，如下图所示： 第三步 解压后的目录并没有的my.ini文件，没关系可以自行创建 阅读全文

摘要： 在开发过程中，需要修改数据库模型，而且还要在修改之后更新数据库。最直接的方式就是删除旧表，但这样会丢失数据。 更好的解决办法是使用数据库迁移框架，它可以追踪数据库模式的变化，然后把变动应用到数据库中。在Flask中可以使用Flask-Migrate扩展，来实现数据迁移。 环境：window11+py 阅读全文

摘要： 1 介绍 ansible是一种自动化运维工具,基于paramiko开发的,并且基于模块化工作，Ansible是一种集成IT系统的配置管理、应用部署、执行特定任务的开源平台，它是基于python语言，由Paramiko和PyYAML两个关键模块构建。集合了众多运维工具的优点，实现了批量系统配置、批量程 阅读全文

摘要： 数据加密解密是一个常用的功能，如果你不希望让别人看到文件中的内容，可以通过密钥（也称”密码“）将文件的内容加密。比如文本文件(.txt)，加密前的内容是能够读懂的，加密后的内容是”乱码“，都是一些奇怪的字符，根本无法阅读。 数据加密解密的原理也很简单，就是使用异或运算。请先看下面的代码： #incl 阅读全文

摘要： “ Elasticsearch 基于 Lucene，隐藏其复杂性，并提供简单易用的 Restful API接口、Java API 接口。所以理解 ES 的关键在于理解 Lucene 的基本原理。 Lucene 简介 Lucene 是一种高性能、可伸缩的信息搜索（IR）库，在 2000 年开源，最初由 阅读全文

摘要： 文章目录 1、开发环境操作系统 1.1 选择Windows、Mac or Linux 1.2 选择虚拟机还是本地安装 2、学习ES 8 Java版本如何选择 2.1 ES与JDK兼容性 2.2 Java下载 2.3 不同系统下Java环境的安装 3、下载和安装ES 3.1 SDK下载地址 3.2 E 阅读全文

摘要： 之前的几篇文章介绍了一下RabbitMQ的概念以及环境的搭建和配置，有了RabbitMQ环境就可以基于其实现一些特殊的任务场景了。RabbitMQ官方有个很好的Tutorials基本覆盖了RabbitMQ的各中常见应用场景，现以代码加注释的方式以其Python客户端pika为例简单介绍如下。更详尽的 阅读全文